wiki:Streaming

Version 3 (modified by waue, 15 years ago) (diff)

--

Hadoop Streaming

Hadoop streaming是Hadoop的一個工具， 它幫助用戶創建和運行一類特殊的map/reduce作業， 這些特殊的map/reduce作業是由一些可執行文件或腳本文件充當mapper或者reducer

用 shell實做mapReduce

  • 最簡單的透過shell執行stream的map reduce: 
    $ bin/hadoop jar hadoop-0.18.3-streaming.jar -input lab3_input -output stream-out1 -mapper /bin/cat -reducer /usr/bin/wc
    • 輸出的結果為：
行 字數 字元數 
2910628 24507806 143451003

用php實做mapReduce

Python 實做