Hadoop Streaming

Hadoop streaming是Hadoop的一個工具， 它幫助用戶創建和運行一類特殊的map/reduce作業， 這些特殊的map/reduce作業是由一些可執行文件或腳本文件充當mapper或者reducer

用 shell實做mapReduce

• 最簡單的透過shell執行stream的map reduce:

  $ bin/hadoop jar contrib/streaming/hadoop-0.18.3-streaming.jar \
  -input lab3_input -output stream-out1 -mapper /bin/cat -reducer /usr/bin/wc
  
  

• 輸出的結果為：

$ bin/hadoop fs -cat stream-out1/part-00000

行	字數	字元數
1528	4612	48644

用php實做mapReduce

• ​用 "單機" 跟 "PHP" 開發 Hadoop 程式 from Hadoop Taiwan User Group

Python 實做

• ​Hadoop Example Program from brandeis University