Changes between Version 2 and Version 3 of 0428Hadoop_Lab4

Timestamp:

Apr 26, 2009, 3:02:56 AM (16 years ago)

Author:

waue

Comment:

--

0428Hadoop_Lab4

@@ -1 @@
-
-= 動態加入datanode 與 tasktracker = 
-
+{{{
+#!html
+<div style="text-align: center;"><big
+ style="font-weight: bold;"><big><big>實作四： Hadoop 叢集進階用法 </big></big></big></div>
+}}}
+[[PageOutline]]
+
+= 狀況一： 如何動態加入datanode 與 tasktracker = 
+ * 某些情況下，後來的環境也許會跟之前配置的不同，比如說，原本只有五台機器架設hadoop，但是也許老闆今天心血來潮，又撥了五台電腦給你。在接續之前的環境動態的擴增節點的方法，請看以下作法。
+
+ == 1.0 說明 ==
+ * 要新增的節點上，hadoop版本與設定檔要與原先的相同
+ * 是否能連到正確的位址取決於conf/hadoop-site.xml內的jobTracker, Namenode資訊是否正確  (目前測試結果與conf/slave、masters無關)
+
+ == 1.1 加入datanode == 
+
+ * 在要加入的節點上面下此指令
+{{{
+$ cd $HADOOP_HOME
+$ bin/hadoop-daemon.sh --config ./conf start datanode
+}}}
+   * 執行畫面如下：
+{{{
+starting datanode, logging to /tmp/hadoop/logs/hadoop-waue-datanode-Dx7200.out
+}}}
+ == 1.2 加入 taskTracker == 
  * 是否能連到正確的namenode取決於conf/hadoop-site.xml，目前測試結果與conf/slave、masters無關
-
-{{{
-$ bin/hadoop-daemon.sh --config ./conf start datanode
-
-starting datanode, logging to /tmp/hadoop/logs/hadoop-waue-datanode-Dx7200.out
-}}}
-
-{{{
+{{{
+$ cd $HADOOP_HOME
 $ bin/hadoop-daemon.sh --config ./conf start tasktracker
-
+}}}
+   * 執行畫面如下：
+{{{
 starting tasktracker, logging to /tmp/hadoop/logs/hadoop-waue-tasktracker-Dx7200.out
 }}}
 
 -----
-= balancer  =
-用於分析數據塊分佈和重新平衡!DataNode上的數據分佈
-
+= 狀況二： 怎麼讓我的HDFS內資料均勻分散於各個Node上 = 
+ * 下面指令用於分析數據塊分佈和重新平衡!DataNode上的數據分佈
 {{{
 $ bin/hadoop balancer
-
+}}}
+   * 執行畫面如下
+{{{
 Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved
 09/04/01 18:00:08 INFO net.NetworkTopology: Adding a new node: /default-rack/140.110.138.191:50010
@@ -33 +53 @@
 
 
-== 升級 ==
- * 由於換版本的話，資料夾內的conf設定檔也勢必被更改，因此目前作法為： 把conf 移至/opt/conf ，hadoop 0.16 與 hadoop 0.18用 ln 做捷徑代換。由於conf已不在hadoop_home內，因此記得匯入conf/hadoop-env.sh
-{{{
-$ source /opt/conf/hadoop-env.sh
-}}}
-
+ = 狀況三：如何讓已上線服務的Hadoop進行升級並且不失去以前的資料 =
+ * 假設從原本的hadoop 0.16升級到hadoop 0.18
+ * 如果把conf/這個資料夾至於$Hadoop_home目錄下的話，一旦換版本就連conf也被一併換掉，但無論hadoop的版本新舊，其實設定檔及其資訊是可以共用的。
+ == step 1. 停止hdfs ==
  * 先看狀態
 {{{
+$ cd /opt/hadoop/
 $ bin/hadoop dfsadmin -upgradeProgress status
 
@@ -52 +71 @@
 }}}
 
- * 部署新版本的Hadoop
-   * 注意每個node的版本都要統一，否則會出現問題
-
-
- * 啟動
+ == Step 2. 鍊結新版本hadoop == 
+ * 把conf 移至/opt/conf ，hadoop 0.16 與 hadoop 0.18用 ln 做捷徑代換。
+ * 以下假設你已經下載好hadoop0.18並解壓縮後，資料夾名稱為hadoop-0.18.3
+{{{
+$ cd opt/
+$ mv hadoop/conf ./
+$ mv hadoop hadoop-0.16
+$ ln hadoop-0.18.3 hadoop
+}}}
+
+ == step 3. 設置環境變數==
+ * 由於conf已不在hadoop_home內，因此記得匯入conf/hadoop-env.sh的參數
+ * 填入hadoop-env.sh 內$HADOOP_CONF_DIR正確路徑，並匯入資訊
+{{{
+$ source /opt/conf/hadoop-env.sh
+}}}
+
+ == step 4. 每個節點都部署新版本的Hadoop ==
+ * 若有多個node的話，則每個node的hadoop版本都要統一，否則會出現問題
+
+ == step 5. 啟動 == 
 {{{
 $ bin/start-dfs.sh -upgrade
 }}}
 
- ps：之後有介紹到 bin/hadoop namenode -upgrade ，應該要查查看與 $ bin/start-dfs.sh -upgrade 有何不同
-
  * namenode管理網頁會出現升級狀態
 
-
------
-
-== 退回 ==
-
- * 停止集群
-{{{
+ = 狀況四：如何讓已上線服務的Hadoop進行降級並且不失去以前的資料 =
+ * 此情況與狀況三相反，因此作法類似狀況三，下面的狀況假設設定檔已在/opt/conf內，並且/opt內也都有hadoop-0.16 與 hadoop-0.18.3 兩個資料夾，而且節點只有一台。
+ == step 1. 在原本停止集群 ==
+{{{
+$ cd /opt/hadoop
 $ bin/stop-dfs.sh
 }}}
- * 部署老版本的Hadoop
-
- * 退回之前版本
+ == step 2. 部署老版本的Hadoop == 
+{{{
+$ rm /opt/hadoop
+$ ln hadoop-0.16 hadoop
+}}}
+
+ == step 3. 退回之前版本 ==
 {{{
 $ bin/start-dfs.sh -rollback
 }}}
- ps：之後有介紹到 bin/hadoop namenode -rollback ，應該要查查看與 $ bin/start-dfs.sh -rollback 有何不同
-
-
------
- == fsck ==
- * HDFS文件系統檢查工具
+
+-----
+ = 狀況五：我的HDFS檔案系統是否正常 =
+ * 在此介紹HDFS文件系統檢查工具 "bin/hadoop fsck"
 
 {{{
 $ bin/hadoop fsck /
-
+}}}
+   * 執行畫面如下
+{{{
 .
 /user/waue/input/1.txt:  Under replicated blk_-90085106852013388_1001. Target Replicas is 3 but found 2 replica(s).
@@ -120 +155 @@
 {{{
 $ bin/hadoop fsck / -files
-
+}}}
+   * 執行畫面如下
+{{{
 /tmp <dir>
 /tmp/hadoop <dir>
@@ -140 +177 @@
 -----
 
-== job  == 
- * 用以跟Map Reduce 的作業程序溝通
- * 在測試此指令之前，請確認已經先執行過mapReduce的程序過
+ = 狀況六：我的系統似乎跑太多Job，我要幫他減肥 = 
+
+ == step 1. 把所有程序列出來 ==
  * 可到JobTracker:50030網頁來看程序的Jobid
-=== -status ===
- * 查看工作狀態
-{{{
-$ bin/hadoop job -status job_200904021140_0001
-
-}}}
-=== -kill ===
- * 終止正在執行的程序，其id為 job_200904021140_0001
-{{{
-$ bin/hadoop job -kill job_200904021140_0001
-}}}
-=== -list ===
- * 印出所有程序的狀態
+ * 或用指令印出所有程序
 {{{
 $ bin/hadoop job -list all
@@ -170 +195 @@
 job_200904021140_0006   2       1238658644666   waue
 }}}
-
-=== -history ===
+ == step 2. more detail ==
+ * 查看工作狀態
+{{{
+$ bin/hadoop job -status job_200904021140_0001
+}}}
  * 印出程序的歷史狀態
 {{{
@@ -190 +218 @@
 ...略
 }}}
------
-
-== version ==
+ == step 3. 殺很大、殺不用錢 ==
+ * 終止正在執行的程序，如 id為 job_200904021140_0001
+{{{
+$ bin/hadoop job -kill job_200904021140_0001
+}}}
+
+ = 狀況七：怎麼看目前的Hadoop版本 =
  * 印出目前的hadoop 版本
 {{{
-bin/hadoop version
-
+$ bin/hadoop version
+}}}
+   * 執行畫面
+{{{
 Hadoop 0.18.3
 Subversion https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736250
@@ -203 +237 @@
 
 -----
-= HDFS權限管理用戶 =
-
+ = 狀況八：我要設定HDFS的帳戶及配額 =
+ == step 1. 先設定各使用者的預設資料夾，屬性及讀寫權限
  * hdfs的權限有owner, group, other三種
  * 而用戶的身份取決於client上的使用者 （用 whoami），群組為（bash -c groups）
@@ -224 +258 @@
 dfs.umask = 022
 }}}
-
-=== -setQuota ===
+ == step2. 設定配額 ==
+
  * 目錄配額是對目錄樹上該目錄下的名字數量做硬性限制
  * 設定配額，數字代表個數 （如：我上傳了一個2個block的檔案可以上傳，但我上傳兩個檔案很小的檔上去卻不行）
@@ -249 +283 @@
 }}}
 
- === -clrQuota ===
  * 清除之前設定的配額
 {{{
 $ bin/hadoop dfsadmin -clrQuota quota/
 }}}
-
------
-= Hadoop Streaming 函式庫用法 =
- * Hadoop streaming是Hadoop的一個工具， 它幫助用戶創建和運行一類特殊的map/reduce作業， 這些特殊的map/reduce作業是由一些可執行文件或腳本文件充當mapper或者reducer
- * 最簡單的透過shell執行stream的map reduce:
-{{{
-$ bin/hadoop jar hadoop-0.18.3-streaming.jar -input input -output stream-output1 -mapper /bin/cat -reducer /usr/bin/wc
-}}}
-   * 輸出的結果為： (代表 行、字數、字元數)
-{{{
-#!sh
-2910628 24507806 143451003
-}}}