wiki:waue/2011/1220

Version 14 (modified by waue, 12 years ago) (diff)

--

Hadoop與MapReduce 實作基礎課程

課程資訊

  • 上課時間: 2011/12/20 10:00 ~ 12:00 ,共計 2 個小時
  • 上課地點: 勤益科技大學

課程大綱

  • 目標:
    Hadoop 是一個開源雲端運算平台,包含:HDFS分散式檔案系統、MapReduce 分散式平行運算框架。
    搭配 HBase 分散式資料庫,恰可以比擬谷歌(Google)的三項關鍵技術。 MapReduce 架構是一種
    特別適用於處理單一功能性的大量資料處理技術,它可以運行在數千部甚至上萬部伺服器上,同時共同來
    解決某一問題,因此 MapReduce 正好可拿來專門應用在雲端運算需要的大型分散資料處理工作。
    
  • 對象
    程式開發人員(具Java程式設計能力)、系統管理人員(具備Linux管理經驗)
    

10:00~10:30 Hadoop 安裝、運作、操作

三種安裝方法

[ ] 方法一:安裝於 Linux 上

[*] 方法二:安裝於 Windows 上

[ ] 方法三:安裝於 虛擬機器(VM)

三種運作模式:

[ ] 單機模式(Local Mode / Standalone Mode)

[*] 偽分散模式(Pseudo-Distributed Mode)

[ ] 完整分散模式(Fully-Distributed Mode)

HDFS 簡介與 操作練習

HDFS 簡介投影片

[*] HDFS 基本操作 (by Hadoop4win)

[ ] HDFS 更多操作指令 (by Linux)

10:30~12:00 MapReduce 與 範例操作

MapReduce 投影片

[*] Hadoop MapReduce code

[*] HDFS I/O code

補充

Attachments (1)

Download all attachments as: .zip