Changes between Version 44 and Version 45 of Hadoop4Win


Ignore:
Timestamp:
May 26, 2010, 10:06:11 PM (14 years ago)
Author:
jazz
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • Hadoop4Win

    v44 v45  
    6666 * STEP 3 : 一開始會出現 Cygwin 的安裝畫面,按『下一步(N)』開始安裝。
    6767   * [[BR]][[Image(hadoop4win_03.jpg,width=600)]]
    68  * 接著批次程式將會把 Hadoop 單機版所需之 Java 開發環境 (JDK 1.6.0 update 18)與 Hadoop 0.20.1 壓縮檔拷貝至安裝目錄。若您下載的是網路安裝版本,會看到批次檔先從網路上下載兩個壓縮檔,才開始安裝。
     68 * 接著批次程式將會把 Hadoop 單機版所需之 Java 開發環境 (JDK 1.6.0 update 18)、 Hadoop 0.20.2 與 HBase 0.20.4 壓縮檔拷貝至安裝目錄。若您下載的是網路安裝版本,會看到批次檔先從網路上下載三個壓縮檔,才開始安裝。
    6969   * [[BR]][[Image(hadoop4win_04.jpg,width=600)]]
    70  * STEP 4 : 當拷貝完成後會進入 Cygwin 視窗。此時,請輸入指令『__'''hadoop4win-init'''__』
     70 * 程式會自動執行 '''hadoop4win-init''' 與 '''hbase-init''' 兩個指令,進行 Hadoop 與 HBase 的安裝
    7171{{{
    7272$ hadoop4win-init
    7373}}}
    7474   * [[Image(hadoop4win_05.jpg,width=600)]]
    75  * 此初始化指令將會進行 JDK 與 Hadoop 解壓縮動作
     75 * 此初始化指令將會進行 JDK 、 Hadoop 與 HBase 解壓縮動作
    7676   * [[BR]][[Image(hadoop4win_06.jpg,width=600)]]
    7777   * [[BR]][[Image(hadoop4win_07.jpg,width=600)]]
    78  * 後將會執行 Hadoop Namenode 的格式化
     78 * 後將會執行 Hadoop Namenode 的格式化
    7979   * [[BR]][[Image(hadoop4win_08.jpg,width=600)]]
    80  * STEP 5 : 按下__'''任意鍵'''__會依序啟動 Hadoop Name Node, Data Node, Job Tracker, Task Tracker
     80 * 隨即依序啟動 Hadoop Name Node, Data Node, Job Tracker, Task Tracker
    8181   * [[BR]][[Image(hadoop4win_09.jpg,width=600)]]
    82  * 並使用預設瀏覽器依序開啟 http://localhost:50030 與 http://localhost:50070 (若使用 IE 可能會只看到一個畫面)
     82 * 並使用預設瀏覽器依序開啟 http://localhost:50030 與 http://localhost:50070 (若使用 IE 可能會只看到一個畫面,Firefox 則會看到兩個分頁)
    8383   * [[BR]][[Image(hadoop4win_10.jpg,width=600)]]
    8484   * [[BR]][[Image(hadoop4win_11.jpg,width=600)]]
     85 * 最後會解壓縮 HBase,並進行單機版 HBase 的設定,當完成 HBase 安裝後,您會看到以下的畫面。
     86   * [[BR]][[Image(hadoop4win_18.jpg,width=600)]]
    8587
    8688== 測試方法 ==
    8789
    88  * STEP 6 : 此時系統已完成 Hadoop 0.20.1 的 tar ball 安裝,可以參考 [http://www.classcloud.org/media 國網中心雲端運算課程(一)] 之教學進行相關測試。目前將 Hadoop 0.20.1 安裝於 /opt/hadoop 路徑下,故使用者必須先切換至該目錄才能進行相關指令操作。
     90=== 測試 Hadoop 的步驟 ===
     91
     92 * STEP 4 : 此時系統已完成 Hadoop 0.20.2 的 tar ball 安裝,可以參考 [http://www.classcloud.org/media 國網中心雲端運算課程(一)] 之教學進行相關測試。目前將 Hadoop 0.20.2 安裝於 /opt/hadoop 路徑下,故使用者必須先切換至該目錄才能進行相關指令操作。
    8993{{{
    9094$ cd /opt/hadoop
    9195}}}
    92  * STEP 7 : 練習 HDFS 指令: 『__'''bin/hadoop fs -put <local file/dir> <HDFS file/dir>'''__』
     96 * STEP 5 : 練習 HDFS 指令: 『__'''bin/hadoop fs -put <local file/dir> <HDFS file/dir>'''__』
    9397{{{
    9498$ bin/hadoop fs -put conf-org input
    9599}}}
    96100   * [[Image(hadoop4win_12.jpg,width=600)]]
    97  * STEP 8 : 練習 HDFS 指令: 『__'''bin/hadoop fs -lsr <HDFS file/dir>'''__』
     101 * STEP 6 : 練習 HDFS 指令: 『__'''bin/hadoop fs -lsr <HDFS file/dir>'''__』
    98102{{{
    99103$ bin/hadoop fs -lsr
    100104}}}
    101105   * [[Image(hadoop4win_13.jpg,width=600)]]
    102  * STEP 9 : 練習 MapReduce 丟 Job 指令: 『__'''bin/hadoop jar <local jar file> <class name> <parameters>'''__』
     106 * STEP 7 : 練習 MapReduce 丟 Job 指令: 『__'''bin/hadoop jar <local jar file> <class name> <parameters>'''__』
    103107{{{
    104108$ bin/hadoop jar hadoop-0.20.1-examples.jar wordcount input output
    105109}}}
    106110   * [[Image(hadoop4win_14.jpg,width=600)]]
    107  * STEP 10 : 練習從 http://localhost:50030 查看目前 MapReduce Job 的運作情形
     111 * STEP 8 : 練習從 http://localhost:50030 查看目前 MapReduce Job 的運作情形
    108112   * [[BR]][[Image(hadoop4win_15.jpg,width=600)]]
    109  * STEP 11 : 欲離開 Cygwin 環境前或者要暫時關閉 Hadoop 系統時,請輸入指令『__'''stop-hadoop'''__』。
     113 * STEP 9 : 欲離開 Cygwin 環境前或者要暫時關閉 Hadoop 系統時,請輸入指令『__'''stop-hadoop'''__』。
    110114{{{
    111115$ stop-hadoop
    112116}}}
    113117   * [[Image(hadoop4win_16.jpg,width=600)]]
    114  * STEP 12 : 欲重新啟動 Hadoop 系統時,請輸入指令『__'''start-hadoop'''__』。
     118 * STEP 10 : 欲重新啟動 Hadoop 系統時,請輸入指令『__'''start-hadoop'''__』。
    115119{{{
    116120$ start-hadoop
    117121}}}
    118122   * [[Image(hadoop4win_17.jpg,width=600)]]
     123
     124=== 測試 HBase 的步驟 ===
     125
     126
    119127
    120128== 已知問題 ==
     
    123131   * [[BR]][[Image(hadoop4win_18.jpg,width=600)]]
    124132
     133 * 由於 Cygwin 的路徑並無法正常被 Hadoop 解析,亦即 Hadoop 經過 Windows OS 告知路徑為 C:\hadoop4win\opt\hadoop\ 但在 Cygwin 中卻為 \opt\hadoop。因此倘若您看到 Path not found 的問題,可用 cygpath 解決。例如:
     134
    125135 * [備註] 若需要重新啟動 Cygwin 環境,請至 C:\hadoop4win 目錄執行 cygwin.bat 批次檔