本文章是CDP中Cloudera的Operational DB（OpDB）系列文章的一部分,從本系列的開頭以CDP中的Operational Database開始。

本文章概述了Cloudera Data Platform中的操作數(shù)據(jù)庫（OpDB）管理工具和功能。如今，它具有兩種形式：作為CDP公共云–數(shù)據(jù)中心中的完全安全，半托管產(chǎn)品以及作為CDP數(shù)據(jù)中心中的完全可定制產(chǎn)品（類似于CDH和HDP中提供的產(chǎn)品）。

數(shù)據(jù)庫創(chuàng)建和控制

Apache HBase命名空間是表的邏輯組，類似于傳統(tǒng)的關(guān)系數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)庫，可以通過Apache HBase Shell創(chuàng)建或管理命名空間。

使用帶有CDP的圖片中的Replication Manager和Ranger，您只能在HBase Shell中創(chuàng)建名稱空間并對其進(jìn)行管理。但是權(quán)限是通過Ranger進(jìn)行的，復(fù)制是通過Replication Manager進(jìn)行的。

就像在關(guān)系數(shù)據(jù)庫中一樣，名稱空間包含表和權(quán)限，復(fù)制設(shè)置和資源隔離的集合。您可以在名稱空間級別設(shè)置這些配置。在CDP中，您可以創(chuàng)建名稱空間并使用HBase Shell對其進(jìn)行管理。您可以將Apache Ranger用于細(xì)粒度的授權(quán)策略和審計。

Replication Manager可幫助您創(chuàng)建HBase復(fù)制策略。您可以使用Replication Manager來設(shè)置CDH / HDP或Apache HBase與CDP數(shù)據(jù)中心之間的復(fù)制。

圖形化的DDL和DCL功能

為此提供了幾種工具，包括用于以下目的的插件：

Cloudera Machine Learning（CML）：CML幫助您使用HBase客戶端和Phoenix來查詢數(shù)據(jù)，并幫助您進(jìn)行交互式數(shù)據(jù)探索，可視化，共享和協(xié)作。OpDB可用于存儲會話/作業(yè)/模型預(yù)測結(jié)果，以供多個不同用戶稍后查詢。

Hue：Hue是基于Web的交互式查詢編輯器，使您可以與數(shù)據(jù)倉庫進(jìn)行交互。 您可以使用Hue中的HBase瀏覽器應(yīng)用程序來創(chuàng)建和瀏覽HBase表。

您可以將使用Impala或Hive的SQL接口用于Hue中的查詢處理。

開箱即用的工具包括Zeppelin和Hue等工具及其插件。 但是，您也可以使用第三方SQL實(shí)用程序，例如Toad。

運(yùn)營數(shù)據(jù)庫版本升級工具

您可以使用Cloudera Manager在Cloudera數(shù)據(jù)平臺-數(shù)據(jù)中心（CDP-DC）中自動化升級操作數(shù)據(jù)庫的過程。升級是通過發(fā)行版或維護(hù)修補(bǔ)程序提供的。Cloudera Manager將安裝發(fā)行版和/或補(bǔ)丁，并管理配置以及重新啟動過程。

如果在諸如Amazon AWS之類的公共云上使用CDP，則必須創(chuàng)建一個新的數(shù)據(jù)中心集群以升級到各種組件的新版本。

Cloudera的產(chǎn)品是基于集群的產(chǎn)品；所有升級和修補(bǔ)程序都跨越多個節(jié)點(diǎn)（服務(wù)器），并且安裝，配置，重新啟動都是自動化的，包括在適用的情況下進(jìn)行滾動重新啟動。

跨多個服務(wù)器的補(bǔ)丁程序管理工具

在CDP數(shù)據(jù)中心中，Cloudera Manager安裝發(fā)行版并管理配置。Cloudera Manager還會對每個受影響的組件執(zhí)行重啟過程。

零停機(jī)補(bǔ)丁程序

在CDP數(shù)據(jù)中心中，Cloudera Manager允許您以零停機(jī)時間應(yīng)用補(bǔ)丁。

跨多臺服務(wù)器的變更管理

您可以跨多個實(shí)例對數(shù)據(jù)庫架構(gòu)執(zhí)行變更管理。例如，您可以在測試/開發(fā)，登臺或生產(chǎn)環(huán)境中執(zhí)行此操作。

您可以使用HBase Shell對所需的更改進(jìn)行腳本編寫，然后將其傳播到其他實(shí)例。

工作負(fù)載分區(qū)

您可以使用幾種工具在OpDB中進(jìn)行工作負(fù)載/應(yīng)用程序分區(qū)，具體取決于工作負(fù)載集的性質(zhì)及其數(shù)據(jù)需求。

如果應(yīng)用程序均訪問單獨(dú)的表，則可以使用區(qū)域服務(wù)器組為一組定義的表或名稱空間指定一組節(jié)點(diǎn)，從而創(chuàng)建硬件分區(qū)方法。

對于使用同一組表的應(yīng)用程序，可以使用RPC限制，用戶配額和空間配額來管理嘈雜的鄰居問題。

您還可以將這兩套選項(xiàng)組合在一起，以使用更復(fù)雜的分區(qū)方案。使用Cloudera Manager確保特定服務(wù)在群集的不同節(jié)點(diǎn)之間適當(dāng)分區(qū)；例如，您可以決定應(yīng)將哪些節(jié)點(diǎn)用于SOLR搜索等。

硬件分區(qū)

Cloudera Manager和YARN都利用Linux cgroup和活動內(nèi)存管理來對硬件資源進(jìn)行靜態(tài)和動態(tài)分區(qū)。

首先，可以使用Cloudera Manager設(shè)置的cgroup對在所有主機(jī)上運(yùn)行的所有進(jìn)程進(jìn)行硬分區(qū)。其次，向?qū)г试S用戶通過設(shè)置百分比，自動轉(zhuǎn)換基于cgroup的CPU和I / O隔離來定義服務(wù)的靜態(tài)分區(qū)的布局，并通過自己配置服務(wù)來設(shè)置內(nèi)存限制。

最后，本機(jī)資源管理器為工作負(fù)載提供了一個容器模型，該模型使用cgroup和活動內(nèi)存管理（設(shè)置，監(jiān)視和終止）來隔離應(yīng)用程序，將每個離散的工作單元放入容器中。

軟件管理程序

支持以下軟件管理程序

• 本地環(huán)境支持VMware
• 微軟Azure的虛擬環(huán)境（Azure堆棧）
• 云上支持Amazon Web Services，Google Compute Platform的虛擬化和Microsoft Azure。

Cloudera提供了一個Docker映像，該映像上安裝了Apache HBase，Apache ZooKeeper和Cloudera Manager。您可以配置YARN來管理您的Docker容器，并在同一容器上將Apache HBase作業(yè)提交到Y(jié)ARN或從另一個容器將作業(yè)提交到Y(jié)ARN。

回滾補(bǔ)丁或版本升級

Cloudera Manager為某些回滾過程提供了自動化。升級有時可能會涉及數(shù)據(jù)格式的更改。不支持用于撤消格式更改的工具，您必須觸發(fā)備份中的數(shù)據(jù)還原，以便回滾可以使用舊數(shù)據(jù)。

跨OS平臺遷移

Cloudera的標(biāo)準(zhǔn)備份/還原/數(shù)據(jù)恢復(fù)工具可用來支持OpDB在不同操作系統(tǒng)之間的遷移。

HBase備份和災(zāi)難恢復(fù)策略可確保備份您的數(shù)據(jù)，以防止數(shù)據(jù)丟失。 HBase快照使您可以對表進(jìn)行快照，而對RegionServer的影響不大。同樣是因?yàn)榭煺眨寺『瓦€原操作不涉及數(shù)據(jù)復(fù)制。

數(shù)據(jù)庫管理員（DBA）工具

包含許多支持管理數(shù)據(jù)庫的工具，包括：

• Cloudera Manager
• HBase shell
• Hue
• HBCK2
• hbtop
• Ranger
• Atlas
• FreeIPA
• navencrypt
• HDFS tools
• YARN

這些工具提供了指標(biāo)和監(jiān)視，集群重啟，添加接收，生命周期管理，升級，安全性，Kerberos設(shè)置以及其他功能。

除了這些工具之外，您還可以使用以下第三方和開源管理工具：

• hrider
• HADMIN

Cloudera還提供開放的API，以使其他工具可用于管理OpDB。例如，JMX接口可用于與第三方監(jiān)視工具（例如Grafana）集成。

結(jié)論

在此博客文章中，我們研究了如何利用CDP中OpDB提供的各種管理工具和功能，在下一篇文章中，我們將介紹如何利用OpDB中的管理功能。

關(guān)于Cloudera

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠?qū)?fù)雜的數(shù)據(jù)轉(zhuǎn)換為清晰而可行的洞察力。Cloudera 為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺服務(wù)。在開源社區(qū)不懈創(chuàng)新的支持下， Cloudera推動了全球最大型企業(yè)的數(shù)字化轉(zhuǎn)型歷程。了解更多，請聯(lián)系。

慧都大數(shù)據(jù)專業(yè)團(tuán)隊(duì)為企業(yè)提供Cloudera大數(shù)據(jù)平臺搭建，免費(fèi)業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團(tuán)隊(duì)，為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！