Changes between Version 18 and Version 19 of jazz/Hadoop_Lab1

Timestamp:

Mar 23, 2009, 9:11:13 PM (17 years ago)

Author:

waue

Comment:

--

jazz/Hadoop_Lab1

@@ -1 +1 @@
 [[PageOutline]]
 
-== 實作一： Hadoop 單機安裝 ==
+= 實作一： Hadoop 單機安裝 =
 
-=== tar.gz 安裝法 ===
+== 前言 ==
 
  * 本實作基於 Ubuntu 8.04 LTS 版本，關於 Ubuntu 8.04 的安裝程序，請參考"[wiki:jazz/Hardy Ubuntu 8.04 Server 版安裝步驟]"。
- * 本課程實作之電腦教室所提供的作業環境是 Ubuntu 8.04 Server 版加裝 xubuntu 桌面的環境，登入資訊請留意講師說明。
+ * 本課程實作之電腦教室所提供的作業環境是 Ubuntu 8.04 Server 版加裝 xubuntu 桌面的環境。
  * 本頁面的部分指令，是針對不熟悉 Linux 文字編輯器的使用者所設計的'懶人'設定法，您也可以使用習慣使用的文字編輯器(如:vi,nano,joe等)進行修改。
  * 這個頁面，黑底白字的部分為指令，請自行剪貼提示符號 "$"(代表一般使用者) 或 "#"(代表最高權限 root 管理者) 之後的指令。
- * 首先，由於 Sun Java Runtime 是執行 Hadoop 必備的工具，因此我們需要安裝 JRE 或 JDK。這裡我們直接安裝 JDK，因為後面寫程式仍舊需要用到 JDK 所提供的編譯器。目前 Ubuntu 8.04 提供的 JDK 套件最新版本為 Sun Java(TM) Development Kit (JDK) 6.06 ，套件名稱為 '''sun-java6-jdk'''。
+
+ * 登入資訊
+ 
+ || 使用者 || Hadooper||
+ || 群組 || Hadoop ||
+ || 密碼 || ****** ||
+ 
+    * Hadooper 擁有sudoer 的權限
+
+-----
+ * 寫給我看的：
+
+每台電腦都要增加此使用者
 {{{
-~$ sudo apt-get install sun-java6-jdk
+$ sudo addgroup hadoop
+$ sudo adduser --ingroup hadoop hadooper
+}}} 
+測試不設定.bashrc 的java home有無關係
+-------   
+    
+ == step 1. 安裝java ==
+ *  由於 Sun Java Runtime 是執行 Hadoop 必備的工具，因此我們需要安裝 JRE 或 JDK。這裡我們直接安裝 JDK，因為後面寫程式仍舊需要用到 JDK 所提供的編譯器。目前 Ubuntu 8.04 提供的 JDK 套件最新版本為 Sun Java(TM) Development Kit (JDK) 6.06 ，套件名稱為 '''sun-java6-jdk'''。並建議刪除原本的 「 gcj 」 。
+
+{{{
+~$ sudo apt-get purge java-gcj-compat
+~$ sudo apt-get install sun-java6-bin  sun-java6-jdk sun-java6-jre
 }}}
- * 其次，請至國網中心 TWAREN 的鏡射站下載 Hadoop 0.18.3，並解開壓縮檔到 /opt 路徑。
+
+ == step 2. 設定登入免密碼 ==
+ 
+ * 由於Hadoop用ssh 作機器間的溝通，因此先設定登入機器免密碼的設定，
+
+{{{
+~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
+~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
+}}}
+
+完成後請登入確認不用輸入密碼，（第一次登入需按enter鍵，第二次就可以直接登入到系統），以免日後輸入密碼key到手軟
+
+{{{
+~$ ssh localhost
+~$ exit
+~$ ssh localhost
+~$ exit
+}}}
+
+ == step 3. 下載安裝Hadoop ==
+ * 請至國網中心 TWAREN 的鏡射站下載 Hadoop 0.18.3，並解開壓縮檔到 /opt 路徑。
 {{{
 ~$ cd /opt
@@ -19 +62 @@
 /opt$ sudo tar zxvf hadoop-0.18.3.tar.gz
 /opt$ sudo mv hadoop-0.18.3/ hadoop
+/opt$ sudo chown -R hadooper:hadoop hadoop
 }}}
+
+ == step 4. 設定 hadoop-env.sh ==
+ 
  * 進入 hadoop 目錄，做進一步的設定。我們需要修改兩個檔案，第一個是 '''hadoop-env.sh'''，需要設定 JAVA_HOME, HADOOP_HOME, HADOOP_CONF_DIR 三個環境變數。
+
 {{{
 /opt$ cd hadoop/
-/opt/hadoop$ sudo su
-/opt/hadoop# cat >> conf/hadoop-env.sh << EOF
+/opt/hadoop$ cat >> conf/hadoop-env.sh << EOF
+}}}
+貼上以下資訊
+{{{
+#!sh
 export JAVA_HOME=/usr/lib/jvm/java-6-sun
 export HADOOP_HOME=/opt/hadoop
@@ -30 +81 @@
 EOF
 }}}
+
+ == step 5. 設定 hadoop-site.xml ==
+ 
  * 第二個設定檔是 '''hadoop-site.xml'''，由於官方所提供的範例並無法直接執行，因此我們參考[http://hadoop.apache.org/core/docs/r0.18.3/quickstart.html 線上文件]，做了以下的修改。
+ 
 {{{
 /opt/hadoop# cat > conf/hadoop-site.xml << EOF
+}}}
+
+貼上以下內容
+
+{{{
+#!sh
 <configuration>
   <property>
@@ -54 +115 @@
 EOF
 }}}
- * 以上我們已經設定好 Hadoop 單機測試的環境，接著讓我們來啟動 Hadoop 相關服務。首先需要先格式化 namenode，接著用 start-all.sh 來啟動所有服務，包含 namenode, datanode, secondarynamenode, tasktracker
+
+== step 6. 格式化HDFS ==
+
+ * 6. 以上我們已經設定好 Hadoop 單機測試的環境，接著讓我們來啟動 Hadoop 相關服務，格式化 namenode， secondarynamenode, tasktracker
 {{{
 /opt/hadoop# bin/hadoop namenode -format
+}}}
+
+執行畫面如：
+{{{
+
+09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: 
+
+/************************************************************
+
+STARTUP_MSG: Starting NameNode
+
+STARTUP_MSG:   host = /localhost
+
+STARTUP_MSG:   args = [-format]
+
+STARTUP_MSG:   version = 0.18.3
+
+STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009
+
+************************************************************/
+
+09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper
+
+09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup
+
+09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true
+
+09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds.
+
+09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop-hadooper/dfs/name has been successfully formatted.
+
+09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: 
+
+/************************************************************
+
+SHUTDOWN_MSG: Shutting down NameNode at /localhost
+
+************************************************************/
+
+
+}}}
+
+== step 7. 啟動Hadoop ==
+
+ * 接著用 start-all.sh 來啟動所有服務，包含 namenode, datanode,
+{{{
 /opt/hadoop# bin/start-all.sh
 }}}
+執行畫面如：
+{{{
+starting namenode, logging to /opt/hadoop/logs/hadoop-hadooper-namenode-vPro.out
+
+localhost: starting datanode, logging to /opt/hadoop/logs/hadoop-hadooper-datanode-vPro.out
+
+localhost: starting secondarynamenode, logging to /opt/hadoop/logs/hadoop-hadooper-secondarynamenode-vPro.out
+
+starting jobtracker, logging to /opt/hadoop/logs/hadoop-hadooper-jobtracker-vPro.out
+}}}
+
+== step 8. 完成！檢查運作狀態 ==
+
  * 啟動之後，可以檢查以下網址，來觀看服務是否正常。
    * http://localhost:50030/ - Hadoop 管理介面
@@ -67 +190 @@
    * [[Image(hadoop_dfs_status.png)]]
 
-=== deb 套件一步安裝法 ===