Changes between Version 4 and Version 5 of 0428Hadoop_Lab4

Timestamp:

Apr 27, 2009, 5:23:51 PM (17 years ago)

Author:

jazz

Comment:

--

0428Hadoop_Lab4

@@ -9 +9 @@
  * 某些情況下，後來的環境也許會跟之前配置的不同，比如說，原本只有五台機器架設hadoop，但是也許老闆今天心血來潮，又撥了五台電腦給你。在接續之前的環境動態的擴增節點的方法，請看以下作法。
 
- == 1.0 說明 ==
+== 1.0 說明 ==
+
  * 要新增的節點上，hadoop版本與設定檔要與原先的相同
  * 是否能連到正確的位址取決於conf/hadoop-site.xml內的jobTracker, Namenode資訊是否正確  (目前測試結果與conf/slave、masters無關)
 
- == 1.1 加入datanode == 
+== 1.1 加入datanode == 
 
  * 在要加入的節點上面下此指令
@@ -24 +25 @@
 starting datanode, logging to /tmp/hadoop/logs/hadoop-waue-datanode-Dx7200.out
 }}}
- == 1.2 加入 taskTracker == 
+
+== 1.2 加入 taskTracker == 
+
  * 是否能連到正確的namenode取決於conf/hadoop-site.xml，目前測試結果與conf/slave、masters無關
 {{{
@@ -36 +39 @@
 
 -----
+
 = 狀況二： 怎麼讓我的HDFS內資料均勻分散於各個Node上 = 
+
  * 下面指令用於分析數據塊分佈和重新平衡!DataNode上的數據分佈
 {{{
@@ -51 +56 @@
 Balancing took 186.0 milliseconds
 }}}
+
 ------
 
- = 狀況三：如何讓已上線服務的Hadoop進行升級並且不失去以前的資料 =
+= 狀況三：如何讓已上線服務的Hadoop進行升級並且不失去以前的資料 =
+
  * 假設從原本的hadoop 0.16升級到hadoop 0.18
  * 如果把conf/這個資料夾至於$Hadoop_home目錄下的話，一旦換版本就連conf也被一併換掉，但無論hadoop的版本新舊，其實設定檔及其資訊是可以共用的。
- == step 1. 停止hdfs ==
+
+== step 1. 停止hdfs ==
+
  * 先看狀態
 {{{
@@ -71 +80 @@
 }}}
 
- == Step 2. 鍊結新版本hadoop == 
+== Step 2. 鍊結新版本hadoop == 
+
  * 把conf 移至/opt/conf ，hadoop 0.16 與 hadoop 0.18用 ln 做捷徑代換。
  * 以下假設你已經下載好hadoop0.18並解壓縮後，資料夾名稱為hadoop-0.18.3
@@ -81 +91 @@
 }}}
 
- == step 3. 設置環境變數==
+== step 3. 設置環境變數　==
+
  * 由於conf已不在hadoop_home內，因此記得匯入conf/hadoop-env.sh的參數
  * 填入hadoop-env.sh 內$HADOOP_CONF_DIR正確路徑，並匯入資訊
@@ -88 +99 @@
 }}}
 
- == step 4. 每個節點都部署新版本的Hadoop ==
+== step 4. 每個節點都部署新版本的Hadoop ==
+
  * 若有多個node的話，則每個node的hadoop版本都要統一，否則會出現問題
 
- == step 5. 啟動 == 
+== step 5. 啟動 == 
+
 {{{
 $ bin/start-dfs.sh -upgrade
@@ -99 +112 @@
 
 -------
- = 狀況四：如何讓已上線服務的Hadoop進行降級並且不失去以前的資料 =
+
+= 狀況四：如何讓已上線服務的Hadoop進行降級並且不失去以前的資料 =
+
  * 此情況與狀況三相反，因此作法類似狀況三，下面的狀況假設設定檔已在/opt/conf內，並且/opt內也都有hadoop-0.16 與 hadoop-0.18.3 兩個資料夾，而且節點只有一台。
- == step 1. 在原本停止集群 ==
+
+== step 1. 停止 HDFS ==
+
 {{{
 $ cd /opt/hadoop
 $ bin/stop-dfs.sh
 }}}
- == step 2. 部署老版本的Hadoop == 
+
+== step 2. 部署老版本的Hadoop == 
+
 {{{
 $ rm /opt/hadoop
@@ -112 +131 @@
 }}}
 
- == step 3. 退回之前版本 ==
+== step 3. 退回之前版本 ==
+
 {{{
 $ bin/start-dfs.sh -rollback
@@ -118 +138 @@
 
 -----
- = 狀況五：我的HDFS檔案系統是否正常 =
+
+= 狀況五：我的HDFS檔案系統是否正常 =
+
  * 在此介紹HDFS文件系統檢查工具 "bin/hadoop fsck"
 
@@ -178 +200 @@
 -----
 
- = 狀況六：我的系統似乎跑太多Job，我要幫他減肥 = 
-
- == step 1. 把所有程序列出來 ==
+= 狀況六：我的系統似乎跑太多Job，我要幫他減肥 = 
+
+== step 1. 把所有程序列出來 ==
+
  * 可到JobTracker:50030網頁來看程序的Jobid
  * 或用指令印出所有程序
@@ -196 +219 @@
 job_200904021140_0006   2       1238658644666   waue
 }}}
- == step 2. more detail ==
+
+== step 2. more detail ==
+
  * 查看工作狀態
 {{{
@@ -219 +244 @@
 ...略
 }}}
- == step 3. 殺很大、殺不用錢 ==
- * 終止正在執行的程序，如 id為 job_200904021140_0001
+
+== step 3. 殺很大、殺不用錢 ==
+
+ * 終止正在執行的程序，如 id 為 job_200904021140_0001
 {{{
 $ bin/hadoop job -kill job_200904021140_0001
 }}}
 --------
- = 狀況七：怎麼看目前的Hadoop版本 =
+
+= 狀況七：怎麼看目前的Hadoop版本 =
+
  * 印出目前的hadoop 版本
 {{{
@@ -238 +267 @@
 
 -----
- = 狀況八：我要設定HDFS的帳戶及配額 =
- == step 1. 先設定各使用者的預設資料夾，屬性及讀寫權限
+= 狀況八：我要設定HDFS的帳戶及配額 =
+
+== step 1. 先設定各使用者的預設資料夾，屬性及讀寫權限 ==
+
  * hdfs的權限有owner, group, other三種
  * 而用戶的身份取決於client上的使用者 （用 whoami），群組為（bash -c groups）
@@ -259 +290 @@
 dfs.umask = 022
 }}}
- == step2. 設定配額 ==
+
+== step2. 設定配額 ==
 
  * 目錄配額是對目錄樹上該目錄下的名字數量做硬性限制