數(shù)據(jù)計(jì)算層：
MapReduce是Hadoop的核心組成部分，可以結(jié)合Hive通過(guò)SQL的方式進(jìn)行數(shù)據(jù)的離線計(jì)算，當(dāng)然也可以單獨(dú)編寫(xiě)MapReduce應(yīng)用程序進(jìn)行計(jì)算。Storm用于進(jìn)行數(shù)據(jù)的實(shí)時(shí)計(jì)算，可以非常容易地實(shí)時(shí)處理無(wú)限的流數(shù)據(jù)。Flink提供了離線計(jì)算庫(kù)和實(shí)時(shí)計(jì)算庫(kù)兩種，離線計(jì)算庫(kù)支持FlinkML（機(jī)器學(xué)習(xí)）、Gelly（圖計(jì)算）、基于Table的關(guān)系操作，實(shí)時(shí)計(jì)算庫(kù)支持CEP（復(fù)雜事件處理），同時(shí)也支持基于Table的關(guān)系操作。

任務(wù)調(diào)度層：
Oozie是一個(gè)用于Hadoop平臺(tái)的工作流調(diào)度引擎，可以使用工作流的方式對(duì)編寫(xiě)好的大數(shù)據(jù)任務(wù)進(jìn)行調(diào)度。若任務(wù)不復(fù)雜，則可以使用Linux系統(tǒng)自帶的Crontab定時(shí)任務(wù)進(jìn)行調(diào)度。

?