與CLOUDERA合并之前，此文章已在HORTONWORKS.COM上發(fā)布。某些鏈接，資源或參考文獻可能不再準(zhǔn)確。

簡介

Apache Hadoop分布式文件系統(tǒng)（HDFS）已經(jīng)成為大數(shù)據(jù)的事實上的文件系統(tǒng)。很容易忘記現(xiàn)實世界中HDFS的可伸縮性和健壯性。Cloudera 的客戶運行具有數(shù)千個節(jié)點的集群； 這些集群存儲了100 PB的數(shù)據(jù)，為數(shù)千個并發(fā)客戶端提供服務(wù)。

忠實于其大數(shù)據(jù)根源，當(dāng)大多數(shù)文件很大（數(shù)十到數(shù)百MB）時，HDFS效果最佳。HDFS受著名的小文件限制的困擾，并且要處理超過4億個文件。對于可擴展至數(shù)十億個小文件的類HDFS存儲系統(tǒng)的需求日益增長。

Ozone是一個分布式鍵值存儲，可以同時管理大小文件。 雖然HDFS提供類似POSIX的語義，但是Ozone的外觀和行為類似于對象存儲。

Ozone由具有豐富的大型Apache Hadoop集群管理經(jīng)驗的工程師和架構(gòu)師團隊設(shè)計和實施。 他們對HDFS的優(yōu)勢以及可以做的一些事情有所了解，這些教訓(xùn)影響了Ozone的設(shè)計和演變。

設(shè)計原則

臭氧的設(shè)計遵循以下原則。

• 高度一致。強大的一致性簡化了應(yīng)用程序設(shè)計。臭氧旨在提供嚴(yán)格的可序列化性。
• 結(jié)構(gòu)簡單。當(dāng)出現(xiàn)問題時，簡單的體系結(jié)構(gòu)更易于推理和調(diào)試。Cloudera 試圖使Ozone體系結(jié)構(gòu)保持簡單，甚至以潛在的可伸縮性為代價。但是，就規(guī)模而言，Ozone是無懈可擊的。因為其設(shè)計為在單個群集中存儲超過1000億個對象。
• 分層架構(gòu)。為了達到現(xiàn)代存儲系統(tǒng)的規(guī)模，Ozone是一個分層文件系統(tǒng)。它將名稱空間管理與塊和節(jié)點管理層分開，這使用戶可以在兩個軸上獨立擴展。
• 恢復(fù)成本低。HDFS的主要優(yōu)勢在于，它可以從災(zāi)難性事件（如群集范圍內(nèi)的斷電）中有效恢復(fù)，而不會丟失數(shù)據(jù)，也無需進行昂貴的恢復(fù)步驟。機架和節(jié)點損失相對較小。面對故障，Ozone同樣具有強大的作用。

Apache中的開源。Apache開源社區(qū)對于Ozone的成功至關(guān)重要，所有的Ozone設(shè)計和開發(fā)都在Apache Hadoop社區(qū)中完成。

• 與Hadoop生態(tài)系統(tǒng)的互操作性。現(xiàn)有的Apache Hadoop生態(tài)系統(tǒng)和相關(guān)應(yīng)用程序（例如Apache Hive，Apache Spark和傳統(tǒng)的MapReduce作業(yè)）應(yīng)該可以使用Ozone。 因此，臭氧支持：Hadoop兼容文件系統(tǒng)API（又名OzoneFS）。 這允許Hive，Spark等將臭氧用作零修改的存儲層。
• 數(shù)據(jù)局部性。通過允許將計算任務(wù)安排在與數(shù)據(jù)相同的節(jié)點上，數(shù)據(jù)局部性是原始HDFS / MapReduce體系結(jié)構(gòu)的關(guān)鍵。Ozone還將支持選擇使用它的應(yīng)用程序的數(shù)據(jù)局部性。
• 與HDFS并排部署。Ozone可以安裝在現(xiàn)有的Hadoop群集中，并且可以與HDFS共享存儲磁盤。

當(dāng)前狀態(tài)

可從Apache Ozone網(wǎng)站//hadoop.apache.org/ozone/上獲得Alpha發(fā)行版的Ozone進行評估。社區(qū)正在努力開發(fā)許多功能，這些功能將在將來的Beta版本中提供，即：

• 安全性：Kerberos和委派令牌
• 高可用性
• 與Amazon S3兼容的REST API
• 機架感知數(shù)據(jù)放置

• HDFS-5477 –塊管理器即服務(wù)。
• HDFS-8286 –使用KV存儲擴展名稱空間
• HDFS-5389 –一個名稱節(jié)點，僅在內(nèi)存中保留一部分名稱空間
• 區(qū)塊集合/巨型區(qū)塊抽象

關(guān)于Cloudera

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠?qū)?fù)雜的數(shù)據(jù)轉(zhuǎn)換為清晰而可行的洞察力。Cloudera 為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺服務(wù)。在開源社區(qū)不懈創(chuàng)新的支持下， Cloudera推動了全球最大型企業(yè)的數(shù)字化轉(zhuǎn)型歷程。了解更多，請聯(lián)系。

慧都大數(shù)據(jù)專業(yè)團隊為企業(yè)提供Cloudera大數(shù)據(jù)平臺搭建，免費業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團隊，為您提供免費大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！