Hadoop系統(tǒng)運(yùn)行于一個(gè)由普通商用服務(wù)器組成的計(jì)算集群上，該服務(wù)器集群在提供大規(guī)模分布式數(shù)據(jù)存儲(chǔ)資源的同時(shí)，也提供大規(guī)模的并行化計(jì)算資源。

在大數(shù)據(jù)處理軟件系統(tǒng)上，隨著Apache Hadoop系統(tǒng)開(kāi)源化的發(fā)展，在最初包含HDFS、MapReduce、HBase等基本子系統(tǒng)的基礎(chǔ)上，至今Hadoop平臺(tái)已經(jīng)演進(jìn)為一個(gè)包含很多相關(guān)子系統(tǒng)的完整的大數(shù)據(jù)處理生態(tài)系統(tǒng)。圖1-15展示了Hadoop平臺(tái)的基本組成與生態(tài)系統(tǒng)。

1.MapReduce并行計(jì)算框架

MapReduce并行計(jì)算框架是一個(gè)并行化程序執(zhí)行系統(tǒng)。它提供了一個(gè)包含Map和Reduce兩階段的并行處理模型和過(guò)程，提供一個(gè)并行化編程模型和接口，讓程序員可以方便快速地編寫出大數(shù)據(jù)并行處理程序。MapReduce以鍵值對(duì)數(shù)據(jù)輸入方式來(lái)處理數(shù)據(jù)，并能自動(dòng)完成數(shù)據(jù)的劃分和調(diào)度管理。在程序執(zhí)行時(shí)，MapReduce并行計(jì)算框架將負(fù)責(zé)調(diào)度和分配計(jì)算資源，劃分和輸入輸出數(shù)據(jù)，調(diào)度程序的執(zhí)行，監(jiān)控程序的執(zhí)行狀態(tài)，并負(fù)責(zé)程序執(zhí)行時(shí)各計(jì)算節(jié)點(diǎn)的同步以及中間結(jié)果的收集整理。MapReduce框架提供了一組完整的供程序員開(kāi)發(fā)MapReduce應(yīng)用程序的編程接口。

2.分布式文件系統(tǒng)HDFS

HDFS(Hadoop Distributed File System)是一個(gè)類似于Google GFS的開(kāi)源的分布式文件系統(tǒng)。它提供了一個(gè)可擴(kuò)展、高可靠、高可用的大規(guī)模數(shù)據(jù)分布式存儲(chǔ)管理系統(tǒng)，基于物理上分布在各個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的本地Linux 系統(tǒng)的文件系統(tǒng)，為上層應(yīng)用程序提供了一個(gè)邏輯上成為整體的大規(guī)模數(shù)據(jù)存儲(chǔ)文件系統(tǒng)。與GFS類似，HDFS采用多副本(默認(rèn)為3個(gè)副本)數(shù)據(jù)冗余存儲(chǔ)機(jī)制，并提供了有效的數(shù)據(jù)出錯(cuò)檢測(cè)和數(shù)據(jù)恢復(fù)機(jī)制，大大提高了數(shù)據(jù)存儲(chǔ)的可靠性。

3.分布式數(shù)據(jù)庫(kù)管理系統(tǒng)HBase

為了克服HDFS難以管理結(jié)構(gòu)化/半結(jié)構(gòu)化海量數(shù)據(jù)的缺點(diǎn)，Hadoop提供了一個(gè)大規(guī)模分布式數(shù)據(jù)庫(kù)管理和查詢系統(tǒng)HBase。HBase是一個(gè)建立在HDFS之上的分布式數(shù)據(jù)庫(kù)，它是一個(gè)分布式可擴(kuò)展的NoSQL數(shù)據(jù)庫(kù)，提供了對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化甚至非結(jié)構(gòu)化大數(shù)據(jù)的實(shí)時(shí)讀寫和隨機(jī)訪問(wèn)能力。 HBase提供了一個(gè)基于行、列和時(shí)間戳的三維數(shù)據(jù)管理模型，HBase中每張表的記錄數(shù)(行數(shù))可以多達(dá)幾十億條甚至更多，每條記錄可以擁有多達(dá)上百萬(wàn)的字段。

4.公共服務(wù)模塊Common

Common是一套為整個(gè)Hadoop系統(tǒng)提供底層支撐服務(wù)和常用工具的類庫(kù)和API編程接口，這些底層服務(wù)包括Hadoop抽象文件系統(tǒng) FileSystem、遠(yuǎn)程過(guò)程調(diào)用RPC、系統(tǒng)配置工具Configuration以及序列化機(jī)制。在0.20及以前的版本中，Common包含 HDFS、MapReduce和其他公共的項(xiàng)目?jī)?nèi)容;從0.21版本開(kāi)始，HDFS和MapReduce被分離為獨(dú)立的子項(xiàng)目，其余部分內(nèi)容構(gòu)成 Hadoop Common。

5.數(shù)據(jù)序列化系統(tǒng)Avro

Avro是一個(gè)數(shù)據(jù)序列化系統(tǒng)，用于將數(shù)據(jù)結(jié)構(gòu)或數(shù)據(jù)對(duì)象轉(zhuǎn)換成便于數(shù)據(jù)存儲(chǔ)和網(wǎng)絡(luò)傳輸?shù)母袷健vro提供了豐富的數(shù)據(jù)結(jié)構(gòu)類型，快速可壓縮的二進(jìn)制數(shù)據(jù)格式，存儲(chǔ)持久性數(shù)據(jù)的文件集，遠(yuǎn)程調(diào)用RPC和簡(jiǎn)單動(dòng)態(tài)語(yǔ)言集成等功能。

6.分布式協(xié)調(diào)服務(wù)框架Zookeeper

Zookeeper是一個(gè)分布式協(xié)調(diào)服務(wù)框架，主要用于解決分布式環(huán)境中的一致性問(wèn)題。Zookeeper主要用于提供分布式應(yīng)用中經(jīng)常需要的系統(tǒng)可靠性維護(hù)、數(shù)據(jù)狀態(tài)同步、統(tǒng)一命名服務(wù)、分布式應(yīng)用配置項(xiàng)管理等功能。Zookeeper可用來(lái)在分布式環(huán)境下維護(hù)系統(tǒng)運(yùn)行管理中的一些數(shù)據(jù)量不大的重要狀態(tài)數(shù)據(jù)，并提供監(jiān)測(cè)數(shù)據(jù)狀態(tài)變化的機(jī)制，以此配合其他Hadoop子系統(tǒng)(如HBase、Hama等)或者用戶開(kāi)發(fā)的應(yīng)用系統(tǒng)，解決分布式環(huán)境下系統(tǒng)可靠性管理和數(shù)據(jù)狀態(tài)維護(hù)等問(wèn)題。

7.分布式數(shù)據(jù)倉(cāng)庫(kù)處理工具Hive

Hive是一個(gè)建立在Hadoop之上的數(shù)據(jù)倉(cāng)庫(kù)，用于管理存儲(chǔ)于HDFS或HBase中的結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)。它最早由Facebook開(kāi)發(fā)并用于處理并分析大量的用戶及日志數(shù)據(jù)，2008年Facebook將其貢獻(xiàn)給Apache成為Hadoop開(kāi)源項(xiàng)目。為了便于熟悉SQL的傳統(tǒng)數(shù)據(jù)庫(kù)使用者使用Hadoop系統(tǒng)進(jìn)行數(shù)據(jù)查詢分析，Hive允許直接用類似SQL的HiveQL查詢語(yǔ)言作為編程接口編寫數(shù)據(jù)查詢分析程序，并提供數(shù)據(jù)倉(cāng)庫(kù)所需要的數(shù)據(jù)抽取轉(zhuǎn)換、存儲(chǔ)管理和查詢分析功能，而HiveQL語(yǔ)句在底層實(shí)現(xiàn)時(shí)被轉(zhuǎn)換為相應(yīng)的MapReduce程序加以執(zhí)行。

8.數(shù)據(jù)流處理工具Pig

Pig是一個(gè)用來(lái)處理大規(guī)模數(shù)據(jù)集的平臺(tái)，由Yahoo!貢獻(xiàn)給Apache成為開(kāi)源項(xiàng)目。它簡(jiǎn)化了使用Hadoop進(jìn)行數(shù)據(jù)分析處理的難度，提供一個(gè)面向領(lǐng)域的高層抽象語(yǔ)言Pig Latin，通過(guò)該語(yǔ)言，程序員可以將復(fù)雜的數(shù)據(jù)分析任務(wù)實(shí)現(xiàn)為Pig操作上的數(shù)據(jù)流腳本，這些腳本最終執(zhí)行時(shí)將被系統(tǒng)自動(dòng)轉(zhuǎn)換為MapReduce任務(wù)鏈，在Hadoop上加以執(zhí)行。Yahoo!有大量的MapReduce作業(yè)是通過(guò)Pig實(shí)現(xiàn)的。

9.鍵值對(duì)數(shù)據(jù)庫(kù)系統(tǒng)Cassandra

Cassandra是一套分布式的K-V型的數(shù)據(jù)庫(kù)系統(tǒng)，最初由Facebook開(kāi)發(fā)，用于存儲(chǔ)郵箱等比較簡(jiǎn)單的格式化數(shù)據(jù)，后Facebook將 Cassandra貢獻(xiàn)出來(lái)成為Hadoop開(kāi)源項(xiàng)目。Cassandra以Amazon專有的完全分布式Dynamo為基礎(chǔ)，結(jié)合了Google BigTable基于列族(Column Family)的數(shù)據(jù)模型，提供了一套高度可擴(kuò)展、最終一致、分布式的結(jié)構(gòu)化鍵值存儲(chǔ)系統(tǒng)。它結(jié)合了Dynamo的分布技術(shù)和Google的 Bigtable數(shù)據(jù)模型，更好地滿足了海量數(shù)據(jù)存儲(chǔ)的需求。同時(shí)，Cassandra變更垂直擴(kuò)展為水平擴(kuò)展，相比其他典型的鍵值數(shù)據(jù)存儲(chǔ)模型，Cassandra提供了更為豐富的功能。

10.日志數(shù)據(jù)處理系統(tǒng)Chukwa

Chukwa是一個(gè)由Yahoo!貢獻(xiàn)的開(kāi)源的數(shù)據(jù)收集系統(tǒng)，主要用于日志的收集和數(shù)據(jù)的監(jiān)控，并與MapReduce協(xié)同處理數(shù)據(jù)。Chukwa 是一個(gè)基于Hadoop的大規(guī)模集群監(jiān)控系統(tǒng)，繼承了Hadoop系統(tǒng)的可靠性，具有良好的適應(yīng)性和擴(kuò)展性。它使用HDFS來(lái)存儲(chǔ)數(shù)據(jù)，使用 MapReduce來(lái)處理數(shù)據(jù)，同時(shí)還提供靈活強(qiáng)大的輔助工具用以分析、顯示、監(jiān)視數(shù)據(jù)結(jié)果。

11.科學(xué)計(jì)算基礎(chǔ)工具庫(kù)Hama

Hama是一個(gè)基于BSP并行計(jì)算模型(Bulk Synchronous Parallel，大同步并行模型)的計(jì)算框架，主要提供一套支撐框架和工具，支持大規(guī)模科學(xué)計(jì)算或者具有復(fù)雜數(shù)據(jù)關(guān)聯(lián)性的圖計(jì)算。Hama類似 Google公司開(kāi)發(fā)的Pregel，Google利用Pregel來(lái)實(shí)現(xiàn)圖遍歷(BFS)、最短路徑(SSSP)、PageRank等計(jì)算。Hama可以與Hadoop的HDSF進(jìn)行完美的整合，利用HDFS對(duì)需要運(yùn)行的任務(wù)和數(shù)據(jù)進(jìn)行持久化存儲(chǔ)。由于BSP在并行化計(jì)算模型上的靈活性，Hama框架可在大規(guī)模科學(xué)計(jì)算和圖計(jì)算方面得到較多應(yīng)用，完成矩陣計(jì)算、排序計(jì)算、PageRank、BFS等不同的大數(shù)據(jù)計(jì)算和處理任務(wù)。

12.數(shù)據(jù)分析挖掘工具庫(kù)Mahout

Mahout來(lái)源于Apache Lucene子項(xiàng)目，其主要目標(biāo)是創(chuàng)建并提供經(jīng)典的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘并行化算法類庫(kù)，以便減輕需要使用這些算法進(jìn)行數(shù)據(jù)分析挖掘的程序員的編程負(fù)擔(dān)，不需要自己再去實(shí)現(xiàn)這些算法。Mahout現(xiàn)在已經(jīng)包含了聚類、分類、推薦引擎、頻繁項(xiàng)集挖掘等廣泛使用的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法。此外，它還提供了包含數(shù)據(jù)輸入輸出工具，以及與其他數(shù)據(jù)存儲(chǔ)管理系統(tǒng)進(jìn)行數(shù)據(jù)集成的工具和構(gòu)架。

13.關(guān)系數(shù)據(jù)交換工具Sqoop

Sqoop是SQL-to-Hadoop的縮寫，是一個(gè)在關(guān)系數(shù)據(jù)庫(kù)與Hadoop平臺(tái)間進(jìn)行快速批量數(shù)據(jù)交換的工具。它可以將一個(gè)關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)批量導(dǎo)入Hadoop的HDFS、HBase、Hive中，也可以反過(guò)來(lái)將Hadoop平臺(tái)中的數(shù)據(jù)導(dǎo)入關(guān)系數(shù)據(jù)庫(kù)中。Sqoop充分利用了 Hadoop MapReduce的并行化優(yōu)點(diǎn)，整個(gè)數(shù)據(jù)交換過(guò)程基于MapReduce實(shí)現(xiàn)并行化的快速處理。

14.日志數(shù)據(jù)收集工具Flume

Flume是由Cloudera開(kāi)發(fā)維護(hù)的一個(gè)分布式、高可靠、高可用、適合復(fù)雜環(huán)境下大規(guī)模日志數(shù)據(jù)采集的系統(tǒng)。它將數(shù)據(jù)從產(chǎn)生、傳輸、處理、輸出的過(guò)程抽象為數(shù)據(jù)流，并允許在數(shù)據(jù)源中定義數(shù)據(jù)發(fā)送方，從而支持收集基于各種不同傳輸協(xié)議的數(shù)據(jù)，并提供對(duì)日志數(shù)據(jù)進(jìn)行簡(jiǎn)單的數(shù)據(jù)過(guò)濾、格式轉(zhuǎn)換等處理能力。輸出時(shí)，F(xiàn)lume可支持將日志數(shù)據(jù)寫往用戶定制的輸出目標(biāo)。

作者：黃宜華