數(shù)據(jù)流是每個(gè)現(xiàn)代企業(yè)不可或缺的一部分。無(wú)論是將數(shù)據(jù)從一個(gè)操作系統(tǒng)遷移到另一個(gè)操作系統(tǒng)來(lái)為業(yè)務(wù)流程提供動(dòng)力，還是為中央數(shù)據(jù)倉(cāng)庫(kù)提供最新數(shù)據(jù)以近乎實(shí)時(shí)地報(bào)告，沒(méi)有它們的生活將充滿人工，繁瑣且容易出錯(cuò)的數(shù)據(jù)修改和復(fù)制任務(wù)。

Cloudera也正在幫助客戶使用Apache NiFi（Cloudera DataFlow的核心組件）在本地和公共云中實(shí)現(xiàn)數(shù)據(jù)流。盡管數(shù)百名客戶成功使用Apache NiFi來(lái)支持關(guān)鍵任務(wù)和大規(guī)模數(shù)據(jù)流，但對(duì)企業(yè)數(shù)據(jù)流解決方案的期望卻在不斷發(fā)展。在這篇文章中，就想像大家分享有關(guān)2021年數(shù)據(jù)流的三大要求。

數(shù)據(jù)量激增–幾分鐘之內(nèi)就需要自動(dòng)擴(kuò)展

隨著企業(yè)越來(lái)越多地轉(zhuǎn)向?qū)崟r(shí)數(shù)據(jù)移動(dòng)而不是每小時(shí)/每天批量處理，數(shù)據(jù)突發(fā)變得更加可見(jiàn)并且難以預(yù)測(cè)，主要是由于以下兩個(gè)原因：

• 每小時(shí)/每天的批處理窗口被刪除后，將沒(méi)有任何東西可以匯總并平均出低點(diǎn)和高峰。 如果有一個(gè)持續(xù)五分鐘的數(shù)據(jù)突發(fā)，然后又是一個(gè)穩(wěn)定的五分鐘，那么數(shù)據(jù)流系統(tǒng)必須在兩個(gè)周期內(nèi)都提供預(yù)期的性能，而又不浪費(fèi)資源。 每小時(shí)提取數(shù)據(jù)的批處理系統(tǒng)將平均這些突發(fā)

• 轉(zhuǎn)向?qū)崟r(shí)數(shù)據(jù)流是將新的流數(shù)據(jù)源連接到數(shù)據(jù)生命周期的機(jī)會(huì)，這不適合以前的批處理模型。 盡管這些新來(lái)源增加了數(shù)據(jù)流系統(tǒng)必須處理的數(shù)據(jù)量，但更多時(shí)候，這些來(lái)源正在通過(guò)不可靠的網(wǎng)絡(luò)連接發(fā)送數(shù)據(jù)，而每個(gè)網(wǎng)絡(luò)中斷都會(huì)導(dǎo)致其自身的數(shù)據(jù)突發(fā)。

為了成功地包含流數(shù)據(jù)，企業(yè)（尤其是在公共云環(huán)境中）需要平衡高性能數(shù)據(jù)處理需求和相關(guān)的計(jì)算成本。達(dá)到這種平衡的最佳方法是使用具有內(nèi)置成本控制功能的自動(dòng)擴(kuò)展服務(wù)。

自助服務(wù)為王–數(shù)據(jù)流目錄的需求

盡管無(wú)代碼的圖形化工具（如Apache NiFi）使非編碼人員更容易訪問(wèn)構(gòu)建數(shù)據(jù)流，但是大多數(shù)數(shù)據(jù)流仍由專門負(fù)責(zé)數(shù)據(jù)集成的專業(yè)團(tuán)隊(duì)構(gòu)建。隨著數(shù)據(jù)流的發(fā)展和業(yè)務(wù)線（LoB）團(tuán)隊(duì)希望更快地訪問(wèn)數(shù)據(jù)的渴望，這些集中化的團(tuán)隊(duì)正努力跟上業(yè)務(wù)用戶想要實(shí)現(xiàn)的不斷增長(zhǎng)的數(shù)據(jù)流列表。

數(shù)據(jù)流遵循80/20規(guī)則。盡管80％的數(shù)據(jù)流涵蓋相同的用例和模式，但只有20％的復(fù)雜度足以要求深入了解數(shù)據(jù)流產(chǎn)品以從頭開(kāi)始對(duì)其進(jìn)行自定義。如果專業(yè)數(shù)據(jù)集成團(tuán)隊(duì)可以專注于20％，而LoB用戶將能夠從經(jīng)過(guò)審查和測(cè)試的存儲(chǔ)庫(kù)中選擇和調(diào)整流模板，該怎么辦？提供開(kāi)箱即用的數(shù)據(jù)流模板的自助服務(wù)目錄為L(zhǎng)oB用戶提供了支持新業(yè)務(wù)計(jì)劃所需的速度和敏捷性，而數(shù)據(jù)流開(kāi)發(fā)人員現(xiàn)在可以真正專注于實(shí)施具有挑戰(zhàn)性的所有數(shù)據(jù)流的20％。

隨時(shí)隨地進(jìn)行部署–需要集中監(jiān)控

多云正在成為我們?cè)S多客戶的現(xiàn)實(shí)。多云并不一定意味著在公共云提供商之間實(shí)現(xiàn)并組合了一個(gè)單一的用例，而是不同的業(yè)務(wù)部門根據(jù)他們的需求選擇了公共云提供商。

盡管每個(gè)云提供商都提供用于構(gòu)建連接系統(tǒng)和應(yīng)用程序的數(shù)據(jù)流的產(chǎn)品，但是每個(gè)云提供商都基于完全不同的技術(shù)，要求數(shù)據(jù)集成團(tuán)隊(duì)學(xué)習(xí)所有這些技術(shù)。即使團(tuán)隊(duì)設(shè)法使用不同的技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)流，也根本缺少用于監(jiān)視“生產(chǎn)流”的一致方法。現(xiàn)在，集成團(tuán)隊(duì)甚至必須學(xué)習(xí)專用的監(jiān)視工具以及如何將每個(gè)公共云服務(wù)與它們集成。

為了在使用多個(gè)公共云提供商的環(huán)境中保持生產(chǎn)力，集成團(tuán)隊(duì)需要一個(gè)在所有主要公共云上運(yùn)行的數(shù)據(jù)流系統(tǒng)，并提供對(duì)所有數(shù)據(jù)流的集中監(jiān)控-無(wú)論它們是在AWS，Azure還是GCP上運(yùn)行。

關(guān)于Cloudera

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠?qū)?fù)雜的數(shù)據(jù)轉(zhuǎn)換為清晰而可行的洞察力。Cloudera 為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺(tái)服務(wù)。在開(kāi)源社區(qū)不懈創(chuàng)新的支持下， Cloudera推動(dòng)了全球最大型企業(yè)的數(shù)字化轉(zhuǎn)型歷程。了解更多，請(qǐng)聯(lián)系。

慧都大數(shù)據(jù)專業(yè)團(tuán)隊(duì)為企業(yè)提供Cloudera大數(shù)據(jù)平臺(tái)搭建，免費(fèi)業(yè)務(wù)咨詢，定制開(kāi)發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。