特性：

• 快速高效

• 完全的分布式SQL查詢處理引擎。

• 高級查詢優(yōu)化，如基于成本和漸進式的查詢優(yōu)化。

• 合理的數(shù)據(jù)集上進行交互式分析。

• 可伸縮

• 容錯性與長時間運行查詢的動態(tài)調(diào)度。

• 比主內(nèi)存更大的數(shù)據(jù)集核外算法。

• 可兼容

• 遵從ANSI / ISO SQL標(biāo)準(zhǔn)。

• 支持Hive MetaStore 的訪問。

• 支持JDBC驅(qū)動。

• 支持各種格式文件。如CSV、 JSON、 RCFile、SequenceFile、 ORC以及 Parquet。

• 簡單

• 用戶定義函數(shù)

• 交互性的外殼

• 方便的備份/恢復(fù)功能

• 異步/同步Java API

體系架構(gòu)：

Tajo采用了Master-Worker架構(gòu)，Master-Worker-Client之間的RPC通信是使用Protocol buffer + Netty來實現(xiàn)的，具體如下：

1） TajoMaster：為客戶端提供查詢服務(wù)和管理各個QueryMaster（也可以說是Tajo Worker），解析Query并協(xié)調(diào)QueryMaster，目前還內(nèi)置了catalog服務(wù)器。大致可以分為四個組件：Cluster Manager、Catalog、Global Query Engine以及History Manager。

• Catalog 的工作是管理諸如tables、schemas、partitions，functions，indices及statistics等各種metadata。這些元數(shù)據(jù)信息一般都是Global Query Engine來操作，為了低延遲考慮跟hive一樣都是存在RDBMS（目前支持Derby和MySQL），默認(rèn)是保存在內(nèi)置的Derby數(shù)據(jù)庫中。后面可能會考慮使用hive的HCatalog來完成這塊功能。

• Cluster Manager 主要是管理集群中各個節(jié)點之間的通信信息及資源（內(nèi)存/CPU/Disk）信息，每個節(jié)點定期發(fā)送資源信息，交給Master來管理將用于查詢計劃的分配等，這一塊是依賴Yarn的ResourceManager來管理。

• Global Query Engine 當(dāng)一條query提交到master，GQE就會依據(jù)表的metadata以及集群資源信息（依賴于Catalog和Cluster Manager兩個模塊提供的信息）生成一個全局的查詢計劃。對于一個分布式執(zhí)行環(huán)境，全局的查詢計劃將會被分片，劃分成各個查詢單元分配給各個worker去執(zhí)行，在這些worker執(zhí)行過程中GQE會監(jiān)控每一個查詢單元的運行狀況并實時去優(yōu)化和容錯。在這一塊目前的語法解析是用ANTLR 4生成AST（抽象語法樹），這個以后可能會使用Tenzing的SQL Query Engine。

• History Manager 收集各個query job狀態(tài)信息包括查詢語句，劃分的查詢單元等，通過web ui（默認(rèn)端口號：26080）可以查詢。

2） QueryMaster：負(fù)責(zé)一個query的解析、優(yōu)化與執(zhí)行，它參與多個task runner worker協(xié)同工作，完成一個query的計算。每個Query Master可以生成多個TaskRunner來執(zhí)行master的查詢單元，這些task runner都是由yarn中的NodeManager來管理。

3）Tajo Worker 每個節(jié)點就是一個worker角色，每個worker包含存儲模塊管理和一個Local模式的Query Engine，這個local模式的Query Engine就是來接受master分配的查詢單元。每個查詢單元包含一個邏輯查詢計劃和一個分片（輸入數(shù)據(jù)關(guān)系的信息塊），在執(zhí)行過程中worker定期向master匯報查詢進度和資源信息，master可以很靈活地面對非異常的錯誤。

如上圖所示，Tajo采用傳統(tǒng)數(shù)據(jù)庫技術(shù)開發(fā)了SQL解析器，包括SQL解析、生成查詢計劃、優(yōu)化查詢計劃、執(zhí)行查詢技術(shù)等。但與傳統(tǒng)的數(shù)據(jù)庫技術(shù)不同，Tajo最終執(zhí)行查詢技術(shù)時借鑒了MapReduce的設(shè)計思想，它將查詢計劃轉(zhuǎn)化為一系列任務(wù)，這樣，執(zhí)行查詢計劃實際上就是執(zhí)行這些任務(wù)，而每一個任務(wù)就是一個計算單位，同時Map Task和Reduce Task一樣。