在數(shù)據(jù)為王的時代，數(shù)據(jù)挖掘能力已成為衡量企業(yè)競爭力的重要指標(biāo)之一。如何利用好通用大數(shù)據(jù)平臺Hadoop，如何選擇一款適合企業(yè)業(yè)務(wù)的Hadoop發(fā)行版也毫無疑問成為了企業(yè)的必備技能。在這個成本高昂的探索過程中，大數(shù)據(jù)行業(yè)內(nèi)各個頂級盛會無疑就成為了各個機構(gòu)一個重要的認知和學(xué)習(xí)途徑。在這里，我們一起走進Hadoop Summit 2014。

2014年Hadoop峰會于6月3日至5日在美國圣何塞舉行，會議匯聚了Hortonworks、Cloudera、MapR、Gartner、微軟、AT&T、Teradata、Red Hat、Yahoo!、SAP等眾多知名機構(gòu)，從技術(shù)與實踐的角度描繪了圍繞大數(shù)據(jù)處理的整個Hadoop生態(tài)圈。

Hadoop市場態(tài)勢

Allied Market Research調(diào)查報告顯示，2013至2020，全球Hadoop市場份額將以58.2%的復(fù)合年增 長率，從20億美元增長至502億美元，增長幅度超25倍。其中大數(shù)據(jù)分析需求是整個Hadoop市場的主要驅(qū)動力，也吸引了眾多IT淘金者參與。縱觀本 次Hadoop峰會，筆者盤點了3個代表性事件，這里給大家分享。

1. IT傳統(tǒng)巨頭和新貴聯(lián)合，Hadoop生態(tài)圈烽火再燃

微軟SQL Server市場推廣總經(jīng)理Eron Kelly與Hortonworks戰(zhàn)略營銷副總裁John Kreisa宣布了微軟與Hortonworks的合作關(guān)系，并表示微軟將與Hortonworks一起打造用戶熟悉的Hadoop數(shù)據(jù)處理工具。

Kelly表示，在數(shù)據(jù)解決方案不停演變的過程中，微軟一直追求著利用Windows工具實現(xiàn)數(shù)據(jù)訪問，旨在降低解決方案中的專有特性。在專有與Hadoop之間，微軟選擇了Hadoop并與Hortonworks合作。

Kreisa同樣贊成了微軟期望使用Excel就可以處理大數(shù)據(jù)的愿景，愿意與微軟一起將Hadoop這項技術(shù)帶入主流的IT市場。

2.傳統(tǒng)行業(yè)駐足，Hadoop生態(tài)圈活力倍增

Hadoop峰會期間，Hortonworks主持召開了一個分析師會議，旨在聽取他們的實踐經(jīng)驗，在這個會議上，讓他們驚訝的是一些老牌公司已經(jīng)擁抱了Hadoop。

• British Gas是一個250年歷史的老牌公司，他們正在給百萬家庭安裝智能電表
• TrueCar也在積極擁抱Hadoop，雖然他們并沒有任何Hadoop使用經(jīng)驗和傳統(tǒng)
• 取代技術(shù)層面，Sprint的Hadoop之旅開始于業(yè)務(wù)和分析師，他們一起負責(zé)收集大量數(shù)據(jù)，找出可能的藝術(shù)

Hortonworks戰(zhàn)略副總裁Shaun Connelly指出，時代在變遷，市場在變化，在許多年前你根本不會想到IBM、Cisc、Sprint等公司會簽署支持開源平臺的協(xié)議。Hadoop的真正價值在于實踐以及將它作為推進業(yè)務(wù)本身變革的工具，就像從British Gas朋友描述的愿景來猜測，你根本不可能想到這是一個燃氣公司。

Hadoop生態(tài)圈的衍變

就像Hortonworks戰(zhàn)略副總裁Shaun所說，時代在變遷，市場在變化，在企業(yè)業(yè)務(wù)需求的刺激下，Hadoop生態(tài)圈也在不停的衍變，這里我們主要從Hadoop Summit 2014大會上展現(xiàn)的3個大變化入手。

1.  從技術(shù)到應(yīng)用，消除特定類型人才的依賴

歷經(jīng)數(shù)年的發(fā)展，各大解決方案供應(yīng)商已開始關(guān)注非技術(shù)人員的使用體驗及挖掘數(shù)據(jù)的有效性。Pentaho公司指出，如今數(shù)據(jù)科學(xué)家需要把80%多的工作時間用在錯誤過濾、解決一致性以及兼容性處理上，當(dāng)下已經(jīng)有眾多解決方案提供商開始關(guān)注這個點，比如Pentaho和Talent。

除下進一步提高平臺的生產(chǎn)力，消除技術(shù)方案對于特定類型人才的高度依賴也是亟待解決的問題之一，而Actian和Altoscale正是致力于此的兩家公司。前者致力于降低數(shù)據(jù)科學(xué)家在提取價值過程中所占的比重，后者則是致力解決非技術(shù)人員使用平臺的難度。

2.  安全挑戰(zhàn)，跨數(shù)據(jù)中心的數(shù)據(jù)傳輸

Hadoop的發(fā)展一直受貨幣化、多競爭對手、技術(shù)差距、安全等眾多因素掣肘，數(shù)據(jù)安全無疑是最重要的一環(huán)。為了提供一個安全的數(shù)據(jù)傳輸環(huán)境，各個公司可謂是絞盡腦汁——Hortonworks收購安全初創(chuàng)公司XA Secure，Cloudera捕獲Gazzang。

WANdisco CTO Jagane Sundar指出，隨著機構(gòu)建立更多的數(shù)據(jù)中心，跨數(shù)據(jù)中心的數(shù)據(jù)傳輸已成為必然趨勢，在高可用性保證之上，各個機構(gòu)還需要切實的保障用戶數(shù)據(jù)安全，WANdisco通過單HDFS和單點認證解決。

3. 成果為王，敏捷、用戶體驗必不可少

Teradata公司軟件業(yè)務(wù)高級副總裁Oliver Ratzesberger表示，企業(yè)需要掌握新型市場與新型客戶的實際需求，如果無法真正從數(shù)據(jù)及分析中獲取價值，所有的努力都是無用功。他認為，在價值 提取的過程中，敏捷是重中之重，如果無法在最短的時間內(nèi)得到切實、有效的信息，平臺將會被用戶拋棄。在被問及敏捷基礎(chǔ)設(shè)施打造時，Oliver表示， CIO是敏捷化的發(fā)起者，CMO，CEO，甚至董事會的決策至關(guān)重要。

頂級碰撞：Hortonworks vs. Cloudera

在會議上，WANdisco CTO Jagane曾指出，雖然Cloudera和Hortonworks是這個市場上兩個最強大的玩家，但是關(guān)注點的不同，注定這個領(lǐng)域會有兩個最大的贏家。 其中Cloudera更關(guān)注企業(yè)本身，而Hortonworks更關(guān)注開源。同時，受歡迎的發(fā)行版也絕對不止是這兩家公司，上百公司的創(chuàng)新無疑讓 Hadoop生態(tài)圈更加繁榮。

然而在市場的成熟、競爭白熱化的當(dāng)下，情況卻并非如此。在Hadoop Summit上，Cloudera收購一家專注于Hadoop安全事務(wù)的企業(yè)Gazzang無疑就是一次針尖對麥芒的戰(zhàn)略。

Wikibon分析師Jeff Kelly指出，兩個收購直指Hadoop業(yè)務(wù)重點所在，也就企業(yè)級需求的滿足。一旦Hadoop運行在敏感數(shù)據(jù)環(huán)境中，安全上所做的任何舉措都有可能是成敗的關(guān)鍵，而他們這么做只是為了抵消優(yōu)勢。

Kelly還表示，雖然未來有著502億美元的市場，但是新的大數(shù)據(jù)市場同樣極為殘酷，兩家公司最后的結(jié)局必然以收購或被收購結(jié)束。而在這個過程中，雙方持有的資金，與各個領(lǐng)域巨頭的合作將左右結(jié)果的發(fā)展。

寫在最后

在這個多金的市場，各個解決方案提供商可謂是“八仙過海，各顯神通”，白熱化的競爭確實描繪出了一個令人興奮的積極態(tài)勢，然而如果這個市場可以容納多個巨頭，那么更關(guān)注市場的需求和用戶的體驗，未來似乎更加令人向往。

By