{{{
#!html
<div style="text-align: center;"><big
 style="font-weight: bold;"><big><big>實作七： Hadoop 叢集安裝</big></big></big></div>
}}}
[[PageOutline]]

== 前言 ==

 * 您手邊有兩台電腦，假設剛剛操作的電腦為"node1" ,另一台則為"node2" 。則稍後的環境如下
 
 || || '''管理Data的身份''' || '''管理Job的身份''' ||
 || '''"node1" ''' || namenode + datanode || jobtracker + tasktracker||
 || '''"node2" ''' || datanode|| tasktracker ||
 
 * 這個實做會架設運作在叢集環境上的Hadoop，因此若是你的電腦還存在著之前的實做一的環境，請先作step 0，以移除掉之前的設定。

 * 確認您"node1"的 hostname 與 "node2" 的 hostname，並將下面指令有 node1與node2 的地方作正確的取代

 * 維持好習慣，請幫你待會要操作的主機設root密碼
{{{
~$ sudo passwd
}}}

=== 前置準備工作 ===

 * STEP 1: 為 node1 修改 /etc/hostname 並重新登入 X-Windows。
{{{
~$ echo "node1" > hostname
~$ sudo mv hostname /etc/hostname
~$ sudo hostname -F /etc/hostname
}}}
 * STEP 2: 為 node2 修改 /etc/hostname 並重新登入 X-Windows。
{{{
~$ echo "node2" > hostname
~$ sudo mv hostname /etc/hostname
~$ sudo hostname -F /etc/hostname
}}}
 * 為 node1 與 node2 設定 /etc/hosts
{{{
~$ cat > hosts << EOF
192.168.100.1 node1
192.168.100.2 node2
EOF
~$ sudo mv hosts /etc/hosts
}}}
 * 使用圖形介面為 node1 的第二張網卡設定 IP 位置 - 192.168.100.1
{{{
~$ sudo ifconfig eth1 192.168.100.1
}}}
 * 使用圖形介面為 node2 的第二張網卡設定 IP 位置 - 192.168.100.2
{{{
~$ sudo ifconfig eth1 192.168.100.2
}}}
 * 為了模擬一個電腦叢集，請各位向講師索取網路線，並將網路線連接到 node1 的第二張網卡與 node2 的第二張網卡。
 * 確認網路連線正確
{{{
~$ ping node1
~$ ping node2
}}}

=== 清除所有在實做一作過的環境 ===

 * 在 "node1"  （有操作過 實做一 的電腦）上操作
{{{
~$ cd ~
~$ /opt/hadoop/bin/stop-all.sh
~$ sudo rm -rf /var/hadoop
~$ sudo rm -rf /opt/hadoop
~$ rm -rf /tmp/Jetty_0_0_0_0_500*
~$ rm -rf ~/.ssh
}}}
 == step 0. 設定機器的ip & hostname 資訊 == 



 == step 1. 設定兩台機器登入免密碼 ==

 * 請注意我們實驗環境已經把 /etc/ssh/ssh_config裡的StrictHostKeyChecking改成no，下面的指令可以檢查，如果你的設定不同的話，請修改此檔會比較順。
{{{
$ cat /etc/ssh/ssh_config |grep StrictHostKeyChecking
StrictHostKeyChecking no
}}}

 * 在"node1" 上操作
 * 接著將key產生並複製到其他node上
{{{
~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
~$ scp -r ~/.ssh node2:~/
}}}
 * 測試看看是否登入免密碼
{{{
~$ ssh node2
~$ ssh node1
~$ exit
~$ exit
~$ 
}}}

 * 完成後請登入確認不用輸入密碼，（第一次登入需按 yes ，第二次就可以直接登入到系統），以免日後輸入密碼不隻手軟而已....

 == step 2. 安裝java ==

 * 為兩台電腦安裝java
   * "node1"  & "node2"  都要操作以下指令
{{{
~$ sudo apt-get purge java-gcj-compat
~$ sudo apt-get install sun-java6-bin  sun-java6-jdk sun-java6-jre
~$ ssh node2
~$ sudo apt-get purge java-gcj-compat
~$ sudo apt-get install sun-java6-bin  sun-java6-jdk sun-java6-jre
~$ exit
}}}
    

 == step 3. 下載安裝Hadoop到"node1"  ==

 * 先在"node1" 上安裝，其他node的安裝等設定好之後在一起作

{{{
~$ cd /opt
/opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz
/opt$ sudo tar zxvf hadoop-0.20.2.tar.gz
/opt$ sudo mv hadoop-0.20.2/ hadoop
/opt$ sudo chown -R hadooper:hadooper hadoop
/opt$ sudo mkdir /var/hadoop
/opt$ sudo chown -R hadooper:hadooper /var/hadoop
}}}

 == step 4. 設定 hadoop-env.sh ==
 
 * "node1" 上用gedit 編輯 conf/hadoop-env.sh

{{{
/opt$ cd hadoop/
/opt/hadoop$ gedit conf/hadoop-env.sh
}}}

 將以下資訊貼入 conf/hadoop-env.sh 檔內

{{{
#!sh
export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=/opt/hadoop/conf
export HADOOP_LOG_DIR=/tmp/hadoop/logs
export HADOOP_PID_DIR=/tmp/hadoop/pids
}}}
   * 注意，在此實做中，我們多設定了HADOOP_PID_DIR及HADOOP_LOG_DIR的參數，並且把值寫入到我們hadooper的家目錄中，此舉並非完全必要，但一個目的是介紹更多hadoop-env.sh內的參數，另一目的為讓log,pid等常變資料與hadoop家目錄分離
 
 == step 5. 設定 hadoop-site.xml ==
 
 * 第二個設定檔是 '''hadoop-site.xml'''，由於官方所提供的範例並無法直接執行，因此我們參考[http://hadoop.apache.org/core/docs/r0.20.2/quickstart.html 線上文件]，做了以下的修改。
 
{{{
/opt/hadoop# gedit conf/core-site.xml 
}}}

 將以下資料取代掉原本的內容

{{{
#!sh
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://node1:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/hadoop-${user.name}</value>
  </property>
</configuration>

}}}

{{{
/opt/hadoop# gedit conf/hdfs-site.xml
}}}

 將以下資料取代掉原本的內容

{{{
#!sh
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
</configuration>

}}}

{{{
/opt/hadoop# gedit conf/mapred-site.xml 
}}}

 將以下資料取代掉原本的內容

{{{
#!sh
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>node1:9001</value>
  </property>
</configuration>

}}}

   * 注意！fs.default.name = hdfs://node1:9000/ ；而mapred.job.tracker = node1:9001，看出差異了嗎！一個有指hdfs://，一個沒有，重要！易混淆。
   
 == step 6. 設定masters及slaves ==
 
 * 接著我們要編輯哪個主機當namenode, 若有其他主機則為datanodes
   * 編輯 conf/slaves
{{{
/opt/hadoop$ gedit conf/slaves 
}}}
 原本內容只有localhost一行，請刪除此行並換上"node1" 及"node2" 的ip
{{{
#!sh
node1
node2
}}}

== step 7. Hadoop_Home內的資料複製到其他主機上 ==

 * 在"node1" 上對遠端"node2" 作開資料夾/opt/hadoop及權限設定
{{{
/opt/hadoop$ ssh node2 "sudo mkdir /opt/hadoop"
/opt/hadoop$ ssh node2 "sudo chown -R hadooper:hadooper /opt/hadoop"
/opt/hadoop$ ssh node2 "sudo mkdir /var/hadoop"
/opt/hadoop$ ssh node2 "sudo chown -R hadooper:hadooper /var/hadoop"
}}}

 * 複製"node1" 的hadoop資料夾到"node2" 上
{{{
/opt/hadoop$ scp -r /opt/hadoop/* node2:/opt/hadoop/
}}}

== step 8. 格式化HDFS ==


 * 以上我們已經安裝及設定好 Hadoop 的叢集環境，接著讓我們來啟動 Hadoop ，首先還是先格式化hdfs，在"node1"  上操作 
 
{{{
/opt/hadoop$ bin/hadoop namenode -format
}}}

執行畫面如：
{{{
09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = node1
STARTUP_MSG:   args = [-format]


STARTUP_MSG:   version = 0.20.2
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009
************************************************************/
09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper
09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup
09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true
09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds.
09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop/hadoop-hadooper/dfs/name has been successfully formatted.
09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at node1
************************************************************/
}}}

== step 9. 啟動Hadoop ==

 * bin/start-dfs.sh腳本會參照namenode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動datanode。
 
   * 在"node1" 上，執行下面的命令啟動HDFS：
   
{{{
/opt/hadoop$ bin/start-dfs.sh
}}}


------
   * http://192.168.100.1:50070/ - Hadoop DFS 狀態
   * [[Image(wiki:0428Hadoop_Lab3:datanode.png)]]
------
   
   * ps: 然而JobTracker還沒啟動，因此 http://192.168.100.1:50030/ 網頁無法顯示

 * bin/start-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動tasktracker。

   * 在"node1"執行下面的命令啟動Map/Reduce：
   
{{{
/opt/hadoop$ /opt/hadoop/bin/start-mapred.sh
}}}

 * 啟動之後, jobtracker也正常運作囉！
------
   * http://192.168.100.1:50030/ - Hadoop 管理介面
   * [[Image(wiki:0428Hadoop_Lab3:job.png)]]
------

== step 10. 停止hadoop ==

 * 在"node1" 上，執行下面的命令停止HDFS：
{{{
/opt/hadoop$ bin/stop-dfs.sh
}}}
   * bin/stop-dfs.sh腳本會參照namenode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上停止namenode

 * 在"node1" 上，執行下面的命令停止Map/Reduce：
{{{
/opt/hadoop$ bin/stop-mapred.sh
}}}
   * bin/stop-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上停止tasktracker。

== 補充-修改hostname ==

開啟終端機並執行下列指令修改hostname

 * 修改前先停止hadoop服務
{{{
# cd /opt/hadoop
# bin/stop-all
}}}

 * 將下列檔案內容改為自己要的名字

{{{
# sudo gedit /etc/hostname
}}}

 * 修改對應ip(localhost)的hostname
{{{
# sudo gedit /etc/hosts
}}}

 * 重新啟動
{{{
# /etc/init.d/hostname.sh
}}}

 * 驗證是否已經修改完畢
{{{
# hostname
}}}

== 練習 ==
 * 看 conf/hadoop-default.xml 的更多內容
 * 和別人組隊，組成4台node的cluster，其中"node1"  只當 namenode ，"node2"  只當 jobtracker，而node3, node4 兩台電腦則身兼 datanode及tasktracker的工作。