{{{ #!html
Hadoop與MapReduce 實作基礎課程
}}} [[PageOutline]] = 課程資訊 = * 上課時間: 2011/12/20 10:00 ~ 12:00 ,共計 2 個小時 * 上課地點: 勤益科技大學 = 課程大綱 = * 目標: {{{ #!text Hadoop 是一個開源雲端運算平台,包含:HDFS分散式檔案系統、MapReduce 分散式平行運算框架。 搭配 HBase 分散式資料庫,恰可以比擬谷歌(Google)的三項關鍵技術。 MapReduce 架構是一種 特別適用於處理單一功能性的大量資料處理技術,它可以運行在數千部甚至上萬部伺服器上,同時共同來 解決某一問題,因此 MapReduce 正好可拿來專門應用在雲端運算需要的大型分散資料處理工作。 }}} * 對象 {{{ #!text 程式開發人員(具Java程式設計能力)、系統管理人員(具備Linux管理經驗) }}} == 10:00~10:30 Hadoop 安裝、運作、操作 == === 三種安裝方法 === [ ] 方法一:安裝於 Linux 上 * [http://hadoop.apache.org/common/docs/current/single_node_setup.html 官方單機安裝步驟] * [wiki:NCHCCloudCourse100802/Lab1 一步步教學 ] [*] 方法二:安裝於 Windows 上 * 使用 [wiki:Hadoop4Win hadoop4win] [ ] 方法三:安裝於 [#虛擬機器 虛擬機器(VM)] 中 * 使用[http://www.cloudera.com/downloads/ Cloudera 提供的 VMWare Image] (CDH2, 0.20.x) * 使用[http://developer.yahoo.com/hadoop/tutorial/module3.html#vm Yahoo! Hadoop Tutorial 的 VMWare Image] (0.20.S) === 三種運作模式: === [ ] 單機模式(Local Mode / Standalone Mode) * 無 HDFS 與 Namenode , Datanode, JobTracker, TaskTracker。程式交由 java 運算 [*] 偽分散模式(Pseudo-Distributed Mode) * 在一台電腦上,模擬出 Namenode , Datanode, JobTracker, TaskTracker 。程式交由 JobTracker 與TaskTracker 運算。 [ ] 完整分散模式(Fully-Distributed Mode) * Namenode , Datanode, JobTracker, TaskTracker 散佈在不同節點上 === HDFS 簡介與 操作練習 === [raw-attachment:wiki:Hinet110303:part-2.pdf HDFS 簡介投影片] [*] [http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win#測試方法 HDFS 基本操作 (by Hadoop4win)] [ ] [http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100802/Lab2 HDFS 更多操作指令 (by Linux) ] == 10:30~12:00 MapReduce 與 範例操作 == [http://trac.nchc.org.tw/cloud/raw-attachment/wiki/waue/2011/1220/MR_Programing.pdf MapReduce 投影片] [*] [http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab4 Hadoop MapReduce code] [ ] [http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100928_4_EXM more example code] [*] [http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100928_3_EXE HDFS I/O code] [ ] [http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100928_2_IDE 使用eclipse 開發hadoop] = 補充 = * [raw-attachment:wiki:Hinet110303:11-03-03_Day_1.pdf 投影片參考檔] * [http://hadoop.apache.org 認識 Hadoop 官方網站][[BR]] * [http://hadoop.apache.org/common/releases.html#Download 學習下載 Hadoop 壓縮檔][[BR]] * [http://wiki.apache.org/hadoop/PoweredBy 有誰在用 Hadoop] * [http://en.wikipedia.org/wiki/Functional_Programming 函數編程(Functional Programming)] * [http://labs.google.com/papers/mapreduce.html Google MapReduce 論文] * [http://code.google.com/intl/zh-TW/edu/parallel/mapreduce-tutorial.html Google 校園教學] * [http://hadoop.apache.org/common/docs/r0.20.2/api/index.html?overview-summary.html Hadoop 0.20.2 API 線上文件]