Changes between Version 2 and Version 3 of 0330Hadoop_Lab3

Timestamp:

Apr 9, 2009, 4:14:05 PM (15 years ago)

Author:

waue

Comment:

--

0330Hadoop_Lab3

@@ -10 +10 @@
  || || '''管理Data的身份''' || '''管理Job的身份''' ||
  || '''Node 1 ''' || namenode(master)& datanode || tasktracker(slave)||
- || '''Node 2 ''' || datanode(slave) || jobtracker(master)& tasktracker||
+ || '''Node 2 ''' || jobtracker(master)& datanode(slave) || tasktracker||
  
  * 這個實做會架設運作在叢集環境上的Hadoop，因此若是你的電腦還存在著之前的實做一的環境，請先作step 0，以移除掉之前的設定。
@@ -46 +46 @@
  
 {{{
-~$ alias ssh='ssh -o "StrictHostKeyChecking no"'
+~$ sudo gedit /etc/ssh/ssh_config
+}}}
+ * 把原本的ask改成no
+{{{
+#!sh
+StrictHostKeyChecking no
+}}}
+ * 並且把此檔替換到其他node
+{{{
+~$ sudo su -
+~# scp /etc/ssh/ssh_config node2:/etc/ssh/
+~# exit
+}}}
+ * 接著將key複製到其他node上
+{{{
 ~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
 ~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
 ~$ scp -r ~/.ssh node02:~/
+}}}
+ * 測試看看是否登入免密碼
+{{{
 ~$ ssh node02
-~$ alias ssh='ssh -o "StrictHostKeyChecking no"'
 ~$ ssh node01
 ~$ exit
 ~$ exit
+~$ 
 }}}
 
@@ -66 +83 @@
 ~$ sudo apt-get purge java-gcj-compat
 ~$ sudo apt-get install sun-java6-bin  sun-java6-jdk sun-java6-jre
+~$ ssh node2
+~$ sudo apt-get purge java-gcj-compat
+~$ sudo apt-get install sun-java6-bin  sun-java6-jdk sun-java6-jre
+~$ exit
 }}}
     
@@ -122 +143 @@
   <property>
     <name>mapred.job.tracker</name>
-    <value>node02:9001</value>
+    <value>node01:9001</value>
     <description>  </description>
   </property>
@@ -133 +154 @@
 }}}
    * 注意！ 我們多加了一個參數hadoop.tmp.dir，讓預設的中介資料存放在/tmp/hadoop/ 而不是/tmp/ 下，更多內容可以看conf/hadoop-default.xml
-   * 注意！fs.default.name = hdfs://node01:9000/ ；而mapred.job.tracker = node02:9001，看出差異了嗎！一個有指hdfs://，一個沒有，重要！易混淆。
+   * 注意！fs.default.name = hdfs://node01:9000/ ；而mapred.job.tracker = node01:9001，看出差異了嗎！一個有指hdfs://，一個沒有，重要！易混淆。
    
  == step 6. 設定masters及slaves ==
@@ -178 +199 @@
 STARTUP_MSG:   host = node01
 STARTUP_MSG:   args = [-format]
+
 
 STARTUP_MSG:   version = 0.18.3
@@ -209 +231 @@
 ------
    
-   * ps: 然而JobTracker還沒啟動，因此 http://node02:50030/ 網頁無法顯示
+   * ps: 然而JobTracker還沒啟動，因此 http://node01:50030/ 網頁無法顯示
 
  * bin/start-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動tasktracker。
@@ -216 +238 @@
    
 {{{
-/opt/hadoop$ ssh node02 "/opt/hadoop/bin/start-mapred.sh"
+/opt/hadoop$ /opt/hadoop/bin/start-mapred.sh
 }}}
 
  * 啟動之後, jobtracker也正常運作囉！
 ------
-   * http://node02:50030/ - Hadoop 管理介面
+   * http://node01:50030/ - Hadoop 管理介面
    * [[Image(job.png)]]
 ------