Changes between Version 26 and Version 27 of waue/2009/0617

Timestamp:

Jun 18, 2009, 5:54:21 PM (16 years ago)

Author:

waue

Comment:

--

waue/2009/0617

@@ -37 +37 @@
  * 1 將javadoc (jdk-6u10-docs.zip) 下載下來
  [https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/ViewProductDetail-Start?ProductRef=jdk-6u10-docs-oth-JPR@CDS-CDS_Developer 下載點]
- * 2 放在 /tmp/ 下
+[[Image(1-1.png)]]
+ 
+ * 2 下載完後將檔案放在 /tmp/ 下
  * 3 執行
+ 
 {{{
 $ sudo apt-get install sun-java6-doc
@@ -170 +173 @@
 $ eclipse &
 }}}
-
+ * 圖 2-1 一開始會出現問你要將工作目錄放在哪裡：在這我們用預設值
+[[Image(2-1.png)]] 
 -------
 之後的說明則是在eclipse 上的介面操作
 
  * window -> open pers.. -> other.. -> map/reduce
+[[Image(win-open-other.png)]] 
+ 
+ * 圖 2-2 設定要用 Map/Reduce 的視野
+[[Image(2-2.png)]] 
+
+ * 圖 2-3 使用 Map/Reduce 的視野後的介面呈現
+[[Image(2-3.png)]] 
+
  * file -> new -> project -> Map/Reduce -> Map/Reduce Project -> next
+[[Image(file-new-project.png)]]
+
+ * 圖 2-4 建立mapreduce專案(1)
+[[Image(2-4.png)]] 
+
+ * 圖 2-4 建立mapreduce專案的(2)
+[[Image(2-4-2.png)]]
+
 {{{
 #!sh
@@ -185 +205 @@
 由於剛剛建立了icas這個專案，因此eclipse已經建立了新的專案，出現在左邊視窗，右鍵點選該資料夾，並選properties
 
+ * 圖 2-5 右鍵點選project的properties做細部設定
+[[Image(2-5.png)]]
+
+
 進入專案的細部設定頁
+
+ * 圖 2-5-1 hadoop的javadoc的設定(1)
+[[Image(2-5-1.png)]]
 
  * java Build Path -> Libraries -> hadoop-0.20.0-ant.jar
@@ -197 +224 @@
 }}}
 
+ * 圖 2-5-2 hadoop的javadoc的設定完後(2)
+[[Image(2-5-2.png)]]
 
  * javadoc location -> 輸入：file:/usr/lib/jvm/java-6-sun/docs/api/
+ 
+ * 圖 2-5-3 java本身的javadoc的設定(3)
+[[Image(2-5-3.png)]]
 
 -----
 回到eclipse 主視窗
 
- * 視窗右下角黃色大象圖示"Map/Reduce Locations tag" -> 點選齒輪右邊的藍色大象圖示：
+ * 圖 2-6 視窗右下角黃色大象圖示"Map/Reduce Locations tag" -> 點選齒輪右邊的藍色大象圖示：
+[[Image(2-6.png)]]
+
+圖 2-6-1 進行eclipse 與 hadoop 間的設定(2)
+[[Image(2-6-1.png)]]
+
 {{{
 #!sh
@@ -212 +249 @@
 Finish
 }}}
+
+圖 2-6-2 設定完後，可以看到下方多了一隻藍色大象，左方展開資料夾也可以秀出在hdfs內的檔案結構
+[[Image(2-6-2.png)]]
 
  = 三、 撰寫範例程式 =
@@ -223 +263 @@
  
  == 3.1  我的第一隻程式 ==
+ 
  * File -> new -> mapper
+[[Image(file-new-mapper.png)]]
+
+圖 3-1 mapper.java
+[[Image(3-1.png)]]
 {{{
 #!sh
@@ -230 +275 @@
 Name -> : mapper
 }}}
- * 編輯mapper.java
+
+ * mapper.java的程式碼：
 {{{
 #!java
@@ -257 +303 @@
 }
 }}}
+
+ * 圖 3-2 建立mapper.java後，貼入程式碼
+[[Image(3-2.png)]]
+
+建立reducer.java檔
+
  * File -> new -> reducer
+[[Image(file-new-reducer.png)]]
+
+圖 3-3 reducer.java
+[[Image(3-3.png)]]
 
 {{{
@@ -266 +322 @@
 }}}
 
+ * reducer.java的程式碼
+ 
 {{{
 #!java
@@ -292 +350 @@
 
  * File -> new -> Map/Reduce Driver
+[[Image(file-new-mr-driver.png)]]
+
+
+圖 3-4 建立WordCount.java，此檔用來驅動mapper 與 reducer，因此選擇 Map/Reduce Driver
+[[Image(3-4.png)]]
 
 {{{
@@ -340 +403 @@
 }}}
 
- * 三個檔都存檔後，可以看到icas專案下的src，bin都有檔案產生
-
+
+
+圖3-5. 三個檔完成後並存檔後，整個程式建立完成
+[[Image(3-5.png)]]
+
+
+ * 三個檔都存檔後，可以看到icas專案下的src，bin都有檔案產生，我們用指令來check
+ 
 {{{
 $ cd workspace/icas
@@ -351 +420 @@
 
  = 四、編譯 =
- * 由於hadoop 0.20 此版本的eclipse-plugin依舊不完整，如：1. 齒輪圖示沒有作用 2. 右鍵點選WordCount.java -> run as -> run on Hadoop ：沒有效果
- * 因此編譯hadoop程式就要靠指令來編輯，然而用一行一行指令來產生太沒效率，在此介紹用Makefile來編譯
+ * 由於hadoop 0.20 此版本的eclipse-plugin依舊不完整 ，如： 
+   * 右鍵點選WordCount.java -> run as -> run on Hadoop ：沒有效果
+   
+[[Image(run-on-hadoop.png)]]
+ 
+ * 因此eclipse到目前為止功臣身退，而編譯hadoop程式就要靠指令來編輯，然而用一行一行指令來產生太沒效率，在此介紹用Makefile來編譯
 
  == 4.1 產生Makefile ==
@@ -361 +434 @@
 }}}
 
+ * 輸入以下Makefile的內容
 {{{
 #!sh
@@ -370 +444 @@
 all:help
 jar:
-        jar -cvf ${JarFile} -C bin/ .
+  jar -cvf ${JarFile} -C bin/ .
 
 run:
-        hadoop jar ${JarFile} ${MainFunc} input output
+  hadoop jar ${JarFile} ${MainFunc} input output
 
 clean:
-        hadoop fs -rmr output
+  hadoop fs -rmr output
 
 output:
-        rm -rf ${LocalOutDir}
-        hadoop fs -get output ${LocalOutDir}
-        gedit ${LocalOutDir}/part-r-00000 & 
+  rm -rf ${LocalOutDir}
+  hadoop fs -get output ${LocalOutDir}
+  gedit ${LocalOutDir}/part-r-00000 & 
 
 help:
-        @echo "Usage:"
-        @echo " make jar     - Build Jar File."
-        @echo " make clean   - Clean up Output directory on HDFS."
-        @echo " make run     - Run your MapReduce code on Hadoop."
-        @echo " make output  - Download and show output file"
-        @echo " make help    - Show Makefile options."
-        @echo " "
-        @echo "Example:"
-        @echo " make jar; make run; make output; make clean"
+  @echo "Usage:"
+  @echo " make jar     - Build Jar File."
+  @echo " make clean   - Clean up Output directory on HDFS."
+  @echo " make run     - Run your MapReduce code on Hadoop."
+  @echo " make output  - Download and show output file"
+  @echo " make help    - Show Makefile options."
+  @echo " "
+  @echo "Example:"
+  @echo " make jar; make run; make output; make clean"
 
 }}}
@@ -400 +474 @@
 {{{
 $ cd /home/waue/workspace/icas/
-$ make jar; make run; make output; make clean
-}}}
-
- == 4.3 screenshot ==
- * 圖一： 完成後的eclipse視窗快照
+$ make
+}}}
+
+ * 1. 編譯產生jar檔
+
+{{{
+$ make jar
+}}}
+
+ * 2. 跑我們的wordcount 於hadoop上
+
+{{{
+$ make run
+}}}
+
+ * make run基本上能正確無誤的運作到結束，因此代表我們在eclipse編譯的程式可以順利在hadoop0.20的平台上運行。
+
+ * 而回到eclipse視窗，我們可以看到下方視窗run完的job會呈現出來；左方視窗也多出output資料夾，part-r-00000就是我們的結果檔
+ 
 [[Image(1.png)]]
 ------
- * 圖二： 因為有設定完整的javadoc, 因此可以得到詳細的解說與輔助
+ * 因為有設定完整的javadoc, 因此可以得到詳細的解說與輔助
 [[Image(2.png)]]
+
+ * 3. 這個指令是幫助使用者將結果檔從hdfs下載到local端，並且用gedit來開啟你的結果檔
+
+{{{
+$ make output
+}}}
+
+ * 4. 這個指令用來把hdfs上的output資料夾清除。如果你還想要在跑一次make run，請先執行make clean，否則hadoop會告訴你，output資料夾已經存在，而拒絕工作喔！
+{{{
+$ make clean
+}}}
+