大數(shù)據(jù)培訓(xùn)課程之Hadoop組成三大架構(gòu)

Hadoop在我們大數(shù)據(jù)培訓(xùn)課程中占據(jù)著舉足輕重的地位，被公認(rèn)為是一套行業(yè)大數(shù)據(jù)標(biāo)準(zhǔn)開源軟件，在分布式環(huán)境下提供了海量數(shù)據(jù)的處理能力。在所有的大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)都把它作為必備課，它不僅是在大數(shù)據(jù)培訓(xùn)行業(yè)而且?guī)缀跛兄髁鲝S商都圍繞Hadoop開發(fā)工具、開源軟件、商業(yè)化工具和技術(shù)服務(wù)。

Hadoop組成（面試重點(diǎn)）

圖2-21 Hadoop1.x與Hadoop2.x的區(qū)別

1 HDFS架構(gòu)概述

HDFS（Hadoop Distributed File System）的架構(gòu)概述

圖2-23 HDFS架構(gòu)概述

2 YARN架構(gòu)概述

YARN架構(gòu)概述，如圖2-24所示。

圖2-24? YARN架構(gòu)概述

3 MapReduce架構(gòu)概述

MapReduce將計(jì)算過程分為兩個(gè)階段：Map和Reduce，如圖2-25所示

1）Map階段并行處理輸入數(shù)據(jù)

2）Reduce階段對(duì)Map結(jié)果進(jìn)行匯總

圖2-25 MapReduce架構(gòu)概述

想要了解跟多關(guān)于大數(shù)據(jù)培訓(xùn)課程內(nèi)容歡迎關(guān)注尚硅谷大數(shù)據(jù)培訓(xùn)，尚硅谷除了這些技術(shù)文章外還有免費(fèi)的高質(zhì)量大數(shù)據(jù)培訓(xùn)課程視頻供廣大學(xué)員下載學(xué)習(xí)。