Changes between Version 8 and Version 9 of Streaming


Ignore:
Timestamp:
Sep 13, 2009, 4:12:11 PM (15 years ago)
Author:
waue
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • Streaming

    v8 v9  
    77Hadoop streaming是Hadoop的一個工具， 它幫助用戶創建和運行一類特殊的map/reduce作業， 這些特殊的map/reduce作業是由一些可執行文件或腳本文件充當mapper或者reducer
    88
     9
     10格式分析：
     11
     12 || bin/hadoop  || 呼叫使用hadoop程式 ||
     13 || jar contrib/streaming/hadoop-0.18.3-streaming.jar  || 使用streaming這個功能 ||
     14 || -input $INPUT  || 設定hdfs上的輸入資料夾 ||
     15 || -output $OUTPUT  ||  設定hdfs上的輸出資料夾||
     16 || -mapper $MAPPER  || 設定mapper程式 ||
     17 || -reducer $REDUCER || 設定reducer程式 ||
     18
    919 = 用 shell實做mapReduce =
    1020
    11  * 最簡單的透過shell執行stream的map reduce:
     21此範例以 cat 當mapper , wc 作 reducer
     22
     23 * 運算方法如下
     24
    1225{{{
    1326$ bin/hadoop jar contrib/streaming/hadoop-0.18.3-streaming.jar \