Changes between Version 7 and Version 8 of 0428Hadoop_Lab3

Timestamp:

Aug 21, 2009, 1:57:04 PM (17 years ago)

Author:

waue

Comment:

--

0428Hadoop_Lab3

@@ -8 +8 @@
 == 前言 ==
 
- * 您手邊有兩台電腦，假設剛剛操作的電腦為Node 1 ,另一台則為Node 2 。則稍後的環境如下
+ * 您手邊有兩台電腦，假設剛剛操作的電腦為"主機一" ,另一台則為"主機二" 。則稍後的環境如下
  
  || || '''管理Data的身份''' || '''管理Job的身份''' ||
- || '''Node 1 ''' || namenode(master)& datanode || tasktracker(slave)||
- || '''Node 2 ''' || jobtracker(master)& datanode|| tasktracker(slave) ||
+ || '''"主機一" ''' || namenode(master)& datanode || tasktracker(slave)||
+ || '''"主機二" ''' || jobtracker(master)& datanode|| tasktracker(slave) ||
  
  * 這個實做會架設運作在叢集環境上的Hadoop，因此若是你的電腦還存在著之前的實做一的環境，請先作step 0，以移除掉之前的設定。
 
- * 以下node01代表你Node 1 的ip位址，node02為你Node 2 的ip位址，請查清楚之後作設定
- 
- * 確認您Node 1的 hostname 與 Node 2 的 hostname，並將下面指令有 node01與node02 的地方作正確的取代
-
- * 為了簡化操作步驟，'''大部分的指令在Node 1 執行即可，不過step2 的安裝java則需要在Node 2 上實機操作喔！'''
+ * 確認您"主機一"的 hostname 與 "主機二" 的 hostname，並將下面指令有 主機一與主機二 的地方作正確的取代
 
  * 維持好習慣，請幫你待會要操作的主機設root密碼
@@ -29 +25 @@
 === 清除所有在實做一作過的環境 ===
 
- * 在 Node 1  （有操作過 實做一 的電腦）上操作
+ * 在 "主機一"  （有操作過 實做一 的電腦）上操作
 {{{
 ~$ cd ~
@@ -42 +38 @@
 {{{
 $ sudo su -
-# echo "node01" > /etc/hostname
+# echo "主機一" > /etc/hostname
 # hostname -F /etc/hostname
 }}}
@@ -49 +45 @@
 # cat >> /etc/hosts << EOF
 }}}
-如：192.168.xx.xx 是指你手邊電腦的ip，192.168.oo.oo則是Node 2的ip
-{{{
-#!sh
-192.168.xx.xx node01
-192.168.oo.oo node02
+如：192.168.xx.xx 是指你手邊電腦的ip，192.168.oo.oo則是"主機二"的ip
+{{{
+#!sh
+192.168.xx.xx 主機一
+192.168.oo.oo 主機二
 127.0.0.1 localhost
 EOF
@@ -71 +67 @@
 }}}
 
- * 在Node 1 上操作
+ * 在"主機一" 上操作
  * 接著將key產生並複製到其他node上
 {{{
 ~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
 ~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
-~$ scp -r ~/.ssh node02:~/
+~$ scp -r ~/.ssh 主機二:~/
 }}}
  * 測試看看是否登入免密碼
 {{{
-~$ ssh node02
-~$ ssh node01
+~$ ssh 主機二
+~$ ssh 主機一
 ~$ exit
 ~$ exit
@@ -92 +88 @@
 
  * 為兩台電腦安裝java
-   * Node 1  & Node 2  都要操作以下指令
+   * "主機一"  & "主機二"  都要操作以下指令
 {{{
 ~$ sudo apt-get purge java-gcj-compat
 ~$ sudo apt-get install sun-java6-bin  sun-java6-jdk sun-java6-jre
-~$ ssh node02
+~$ ssh 主機二
 ~$ sudo apt-get purge java-gcj-compat
 ~$ sudo apt-get install sun-java6-bin  sun-java6-jdk sun-java6-jre
@@ -103 +99 @@
     
 
- == step 3. 下載安裝Hadoop到Node 1  ==
-
- * 先在Node 1 上安裝，其他node的安裝等設定好之後在一起作
+ == step 3. 下載安裝Hadoop到"主機一"  ==
+
+ * 先在"主機一" 上安裝，其他node的安裝等設定好之後在一起作
 
 {{{
@@ -117 +113 @@
  == step 4. 設定 hadoop-env.sh ==
  
- * Node 1 上用gedit 編輯 conf/hadoop-env.sh
+ * "主機一" 上用gedit 編輯 conf/hadoop-env.sh
 
 {{{
@@ -151 +147 @@
   <property>
     <name>fs.default.name</name>
-    <value>hdfs://node01:9000/</value>
+    <value>hdfs://主機一:9000/</value>
     <description> </description>
   </property>
   <property>
     <name>mapred.job.tracker</name>
-    <value>node01:9001</value>
+    <value>主機一:9001</value>
     <description>  </description>
   </property>
@@ -167 +163 @@
 }}}
    * 注意！ 我們多加了一個參數hadoop.tmp.dir，讓預設的中介資料存放在/tmp/hadoop/ 而不是/tmp/ 下，更多內容可以看conf/hadoop-default.xml
-   * 注意！fs.default.name = hdfs://node01:9000/ ；而mapred.job.tracker = node01:9001，看出差異了嗎！一個有指hdfs://，一個沒有，重要！易混淆。
+   * 注意！fs.default.name = hdfs://主機一:9000/ ；而mapred.job.tracker = 主機一:9001，看出差異了嗎！一個有指hdfs://，一個沒有，重要！易混淆。
    
  == step 6. 設定masters及slaves ==
@@ -176 +172 @@
 /opt/hadoop$ gedit conf/slaves 
 }}}
- 原本內容只有localhost一行，請刪除此行並換上Node 1 及Node 2 的ip
-{{{
-#!sh
-node01
-node02
+ 原本內容只有localhost一行，請刪除此行並換上"主機一" 及"主機二" 的ip
+{{{
+#!sh
+主機一
+主機二
 }}}
 
 == step 7. Hadoop_Home內的資料複製到其他主機上 ==
 
- * 在Node 1 上對遠端Node 2 作開資料夾/opt/hadoop及權限設定
-{{{
-/opt/hadoop$ ssh node02 "sudo mkdir /opt/hadoop"
-/opt/hadoop$ ssh node02 "sudo chown -R hadooper:hadooper /opt/hadoop"
-}}}
-
- * 複製Node 1 的hadoop資料夾到Node 2 上
-{{{
-/opt/hadoop$ scp -r /opt/hadoop/* node02:/opt/hadoop/
+ * 在"主機一" 上對遠端"主機二" 作開資料夾/opt/hadoop及權限設定
+{{{
+/opt/hadoop$ ssh 主機二 "sudo mkdir /opt/hadoop"
+/opt/hadoop$ ssh 主機二 "sudo chown -R hadooper:hadooper /opt/hadoop"
+}}}
+
+ * 複製"主機一" 的hadoop資料夾到"主機二" 上
+{{{
+/opt/hadoop$ scp -r /opt/hadoop/* 主機二:/opt/hadoop/
 }}}
 
@@ -199 +195 @@
 
 
- * 以上我們已經安裝及設定好 Hadoop 的叢集環境，接著讓我們來啟動 Hadoop ，首先還是先格式化hdfs，在Node 1  上操作 
+ * 以上我們已經安裝及設定好 Hadoop 的叢集環境，接著讓我們來啟動 Hadoop ，首先還是先格式化hdfs，在"主機一"  上操作 
  
 {{{
@@ -210 +206 @@
 /************************************************************
 STARTUP_MSG: Starting NameNode
-STARTUP_MSG:   host = node01
+STARTUP_MSG:   host = 主機一
 STARTUP_MSG:   args = [-format]
 
@@ -224 +220 @@
 09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: 
 /************************************************************
-SHUTDOWN_MSG: Shutting down NameNode at node01
+SHUTDOWN_MSG: Shutting down NameNode at 主機一
 ************************************************************/
 }}}
@@ -232 +228 @@
  * bin/start-dfs.sh腳本會參照namenode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動datanode。
  
-   * 在Node 1 上，執行下面的命令啟動HDFS：
+   * 在"主機一" 上，執行下面的命令啟動HDFS：
    
 {{{
@@ -240 +236 @@
 
 ------
-   * http://node01:50070/ - Hadoop DFS 狀態
+   * http://主機一:50070/ - Hadoop DFS 狀態
    * [[Image(datanode.png)]]
 ------
    
-   * ps: 然而JobTracker還沒啟動，因此 http://node01:50030/ 網頁無法顯示
+   * ps: 然而JobTracker還沒啟動，因此 http://主機一:50030/ 網頁無法顯示
 
  * bin/start-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動tasktracker。
 
-   * 在Node 1執行下面的命令啟動Map/Reduce：
+   * 在"主機一"執行下面的命令啟動Map/Reduce：
    
 {{{
@@ -256 +252 @@
  * 啟動之後, jobtracker也正常運作囉！
 ------
-   * http://node01:50030/ - Hadoop 管理介面
+   * http://主機一:50030/ - Hadoop 管理介面
    * [[Image(job.png)]]
 ------
@@ -262 +258 @@
 == step 10. 停止hadoop ==
 
- * 在Node 1 上，執行下面的命令停止HDFS：
+ * 在"主機一" 上，執行下面的命令停止HDFS：
 {{{
 /opt/hadoop$ bin/stop-dfs.sh
@@ -268 +264 @@
    * bin/stop-dfs.sh腳本會參照namenode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上停止namenode
 
- * 在Node 1 上，執行下面的命令停止Map/Reduce：
+ * 在"主機一" 上，執行下面的命令停止Map/Reduce：
 {{{
 /opt/hadoop$ bin/stop-mapred.sh
@@ -276 +272 @@
 == 練習 ==
  * 看 conf/hadoop-default.xml 的更多內容
- * 和別人組隊，組成4台node的cluster，其中Node 1  只當 namenode ，Node 2  只當 jobtracker，而node3, node4 兩台電腦則身兼 datanode及tasktracker的工作。
+ * 和別人組隊，組成4台node的cluster，其中"主機一"  只當 namenode ，"主機二"  只當 jobtracker，而node3, node4 兩台電腦則身兼 datanode及tasktracker的工作。