今天的數據格局以指數級增長的數據為特征，包括各種結構化，非結構化和半結構化數據類型，這些數據類型源自位于本地，云端和邊緣的不斷增加的不同數據源。與不斷發展的數據生態系統相結合，企業需要可靠，可信任，現時的數據，以實現實時可操作的洞察力。面向當今企業面臨的現代數據生態系統挑戰，出現了大數據結構(Big Data Fabric)。

什么是大數據結構？

大數據結構提供了一種全面的方法論來克服快速增長的數據，不斷變化的應用程序需求和分布式處理需求的挑戰。 Forrester將大數據結構描述為“通過自動，智能，安全地編排業務數據源，然后在Hadoop和Apache Spark等大數據平臺，數據湖，內存和NoSQL中準備和處理業務數據之統一、可信和全面的視圖。”

在實際使用中大數據結構包含以下6個層，它們協調工作，提供大數據的無縫，實時集成：

• 數據攝取
• 數據處理和持久性
• 數據編排
• 數據發現
• 數據管理和智能
• 數據訪問

大數據結構可以涵蓋各種數據位置和來源。 它可以處理，管理，分析和存儲來自眾多來源的幾乎任何數量的數據，以及通過采用各種接口的應用程序和工具訪問這些數據。

誰應該關心大數據結構？

對于數據至關重要但卻因為傳統系統過于緩慢，過于隔離且效率低下而難以及時收集公司和外部數據組合，因而難以得到可靠，可操作的洞察力的企業應該關注大數據結構。

同樣，業務部門以不同格式存儲來自不同系統的大量數據的大公司，因此造成大數據孤島，導致必須手動集成大型數據集，從而侵蝕企業大數據投資，也應該關注大數據結構。

大數據結構有什么好處？

大數據結構為企業提供了一種永久性和可擴展的機制，可以在一個統一平臺中整合其所有數據。大數據結構利用來自多個異構節點的存儲和處理能力，實現企業范圍內對企業所有數據資產的訪問。根據Forrester的說法，大數據結構幫助企業“......快速攝取，轉換，編排和準備流式和批量數據，以支持客戶和業務的實時可信視圖。”

此外，大數據結構使公司能夠：

• 通過內部部署和云數據源有效整合大數據資產，以全面了解企業范圍的信息。
• 實時訪問最新數據。
• 輕松搭載新的大數據系統并淘汰舊系統，同時保持業務系統連續運行而不會中斷。

從解決問題的角度來看，大數據結構克服了數據可用性不足，數據存儲和安全性不可靠，孤立數據，可擴展性差以及對表現不佳的傳統系統的依賴等挑戰。

大數據結構支持哪些用例？

大數據結構支持的各種用例包括實時洞察和機器學習，以及流式和高級分析。 它支持跨各種大數據平臺（如數據湖，Hadoop和NoSQL）編排數據流和數據整理，以支持單一版本的事實，客戶個性化和高級大數據分析。 Forrester認可的頂級大數據結構用例包括客戶360度視圖，物聯網（IoT）分析以及實時和高級分析。

Cloudera企業平臺作為大數據結構

Forrester認為Cloudera（以及2019年1月與Cloudera合并的Hortonworks）是大數據結構的前15大廠商之一。 Cloudera的年收入超過1億美元，被定位為大數據結構的“大型參與者”。其理念見Forrester以下圖1。

下面的圖2描述了Cloudera企業平臺如何實現六層大數據結構體系結構。 Cloudera企業平臺作為大數據結構的四個主要優點將在后面段落中介紹。

1、高價值分析

企業尋求高價值，敏捷的分析。組織需要一個可以支持其業務目標的統一數據管理和分析平臺。企業正在尋求更高的靈活性來檢測變化并主動響應。 Cloudera 企業版是一站式方案，可跨內部部署和云，有時是實時數據源，運行針對多個數據源的分析模型和算法。

Cloudera支持從邊緣到AI的高價值分析用例，包括主動和預測性維護，針對通信的基于使用情況的分析，推薦引擎，企業風險管理，反洗錢，欺詐檢測/預防，網絡安全和機器模型。

2、共享數據目錄以保留上下文并實施治理

數據目錄對于分享有關分布式數據的知識以及改進數據質量，信任和治理至關重要。

數據目錄提供：

（a）統一的數據和元數據視圖，以便于搜索和發現數據資產。

（b）跟蹤和管理數據使用和共享的能力。

（c）跨分析生命周期的一致數據上下文。

Cloudera的共享數據目錄定義并保留跨分析生命周期的分布式異構數據的結構和業務環境，使數據使用者能夠提取業務價值。此共享數據目錄強制遵守數據安全性，隱私，保留策略和流程，以確保使用者的持續信任，并促進遵守法規和法律要求。

3、所有分析工作負載的高性能

傳統數據平臺無法滿足現代數據生態系統眾多需求所需的規模，多樣性和速度。此外，分析工作負載變得越來越大，越來越復雜，因此對高性能分析的交付更具挑戰性。 Cloudera 企業版以經濟高效的方式為各種分析工作負載提供按需彈性規模和多租戶功能。它在單一平臺上提供全方位的功能，包括數據攝取，數據處理，數據發現以及描述性，規范性和預測性分析。

4、靈活/與位置無關的基礎架構

企業尋求地點透明性。因此，他們需要靈活的基礎架構來隨處運行分析，包括云中，所有設備和多個不同云平臺上的更多應用程序。 Cloudera支持邊緣，數據中心，公共云或其任何組合的應用程序和業務解決方案。

慧都大數據專業團隊為企業提供Cloudera大數據平臺搭建，免費業務咨詢，定制開發等完整服務，快速、輕松、低成本將任何Hadoop集群從試用階段轉移到生產階段。

大數據結構為企業提供了一個機會，可以用可行的解決方案替換原有系統，以滿足業務需求，統一數據，簡化和加速當今復雜數據環境中的工作負載。 Cloudera 企業版作為大數據結構，是創建統一數據環境以實現現代化和加速復雜數據管理和分析工作負載的理想選擇。

//本文轉載自Cloudera中國