前言

上一篇我們講解了Hadoop單節點的安裝，并且已經通過VMware安裝了一臺CentOS 6.8的Linux系統，咱們本篇的目標就是要配置一個真正的完全分布式的Hadoop集群，閑言少敘，進入本篇的正題。

技術準備

VMware虛擬機、CentOS 6.8 64 bit

安裝流程

我們先來回顧上一篇我們完成的單節點的Hadoop環境配置，已經配置了一個CentOS 6.8 并且完成了java運行環境的搭建，Hosts文件的配置、計算機名等諸多細節。

其實完成這一步之后我們就已經完成了Hadoop集群的搭建的一半的工作了，因為我們知道通過虛擬機搭建所搭建的好處就是直接拷貝機器。多臺同步進行操作，減少分別配置的時間消耗浪費。這也是虛擬化技術所帶來的優勢。

下面，咱們進去分布式系統的詳細操作過程。

1、首先需要在VMWare中將之前創建的單實例的計算機進行拷貝。

這里根據之前第一篇文章的規劃，我們至少需要再克隆出三臺計算機，作為DataNode數據節點的數據存儲。之前的上一臺機器作為Master主節點進行管理。

這里先來梳理一下整個的物理架構圖，大家有一個直接的觀念和認識，上表中已經和明確了，總共需要5臺服務器來使用，四臺用來搭建Hadoop集群使用，另外一臺（可選）作為MySQL等外圍管理Hadoop集群來使用。

我們在開發的時候一般也是直接通過連接外圍的這臺機器來管理Hadoop整個集群。

根據上面的物理規劃圖應該對整個架構有一個清晰的認識了，好，咱們進行實操。

關于在VMWare中進行虛擬機的拷貝是一個比較簡單的過程。截圖如下：

然后，就是下一步就行了，這里需要記住的是，一定要選擇克隆一個完整的而不是快照。

然后，根據計算機名輸入機器名就可以了。克隆之后的機器如下：

2、配置各個Slave節點的機器信息。

關于各個Slave服務器的配置基本分為如下基本部分：

• 首先需要手動更改各個從節點的計算機名和Hosts文件（必須?。?/li>
• 然后配置各個從節點的內存值，在第一篇的文章中我已經分析過了，這里可以將這里的內存值設置的比Master節點少點，（土豪公司忽略?。?/li>
• 最后配置的就是存儲了，這個自己根據之前的計算公式計算出來就可以了。

首先，進入各個機器中更改Hosts文件和計算機名，在上一篇文章我已經介紹過了，大家可以上一篇翻閱，這里直接寫出腳本如下：

vim /etc/sysconfig/network
vim /etc/hosts

計算機名和Hosts配置文件按照之前規劃完成就行了，同樣網絡的IP地址也是按照規劃設置成固定的地址。

在配置完這一切之后，重啟完各個機器之后，確保各個節點之間可以ping 通（重點?。。。?。

然后剩下的內存配置，直接關閉掉虛擬機，在VMWare中進行設置就可以了，很簡單。

這里根據需要自行調整，然后如果可以的話，盡量將主節點Master的CUP處理器設置成多路多核，這樣設置的原因，我第一篇文章中就已經詳細分析過了。

至此，各個服務器的基礎配置已經完成了。

經過上面一系列流程，大家是不是發現通過虛擬機拷貝這種方式省去了好多額外的配置時間，比如：裝操作系統、下載Hadoop安裝包、搭建Java環境等。

3、配置SSH無密碼配置。

先來解釋下SSH的概念和用途；

SSH 為 Secure Shell 的縮寫，由 IETF 的網絡小組（Network Working Group）所制定；SSH 為建立在應用層和傳輸層基礎上的安全協議。SSH 是目前較可靠，專為遠程登錄會話和其他網絡服務提供安全性的協議。利用 SSH 協議可以有效防止遠程管理過程中的信息泄露問題。SSH最初是UNIX系統上的一個程序，后來又迅速擴展到其他操作平臺。SSH在正確使用時可彌補網絡中的漏洞。SSH客戶端適用于多種平臺。幾乎所有UNIX平臺—包括HP-UX、Linux、AIX、Solaris、DigitalUNIX、Irix，以及其他平臺，都可運行SSH。

上面就是SSH的官方含義了，摘自百度百科。

下面，我來總結下SSH在Hadoop集群中的用途。

所謂的SSH簡單一句話就是：同一用戶無密碼登錄到各臺機器。 其實，就是所有的Hadoop集群中作為分布式的一個計算框架，需要對各個節點的服務進行操作，而操作的過程中需要統一由一個相同的用戶進行操作，但是同一用戶登錄不同的服務器都需要密碼或者密鑰進行身份驗證。為了避免這個驗證過程就使用了統一的一種安全協議：SSH。

其實，SSH的原理很簡單，就是提前將統一用戶的密碼進行加密形成密鑰進行分發，然后分發到各個服務器中，各個服務器對這個秘鑰加入到當前的系統用戶組中，這樣這個用戶登錄的時候就不需要輸入密碼進行登錄操作了。

希望，我上面的講解各位看官能看明白里面的含義。

下面咱們來實際操作：

• 首先進行sshd的配置文件的修改，去掉默認注釋，開啟SSH驗證功能（以root用戶進行操作）。

 vim /etc/ssh/sshd_config

 /sbin/service sshd restart

ssh localhost

ssh-keygen -t  rsa -P ''

scp ~/.ssh/id_rsa.pub 遠程用戶名@遠程服務器IP:~/

scp ~/.ssh/id_rsa.pub hadoop@192.168.1.51:~/

 cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

SSH  <遠程IP && 域名>

ssh slave01.hadoop

vim /usr/hadoop/hadoop-2.6.4/etc/hadoop/slaves

 vim /usr/hadoop/hadoop-2.6.4/etc/hadoop/hdfs-site.xml

 <property>
  <name>dfs.replication</name>
  <value>3</value>
 </property>

bin/hadoop namenode -format

start-dfs.sh

start-yarn.sh

編輯推薦：