wiki:waue/2011/1220

Version 1 (modified by waue, 12 years ago) (diff)

--

Hadoop與MapReduce 實作基礎課程

  1. 課程資訊
  2. 課程大綱
    1. 自習
    2. 2011-12-20

課程資訊

  • 上課時間： 2011/12/20 10:00 ～ 12:00 ，共計 2 個小時
  • 上課地點： 勤益科技大學

課程大綱

  • 目標： 
    Hadoop 是一個開源雲端運算平台，包含：HDFS分散式檔案系統、MapReduce 分散式平行運算框架。
搭配 HBase 分散式資料庫，恰可以比擬谷歌(Google)的三項關鍵技術。 MapReduce 架構是一種
特別適用於處理單一功能性的大量資料處理技術，它可以運行在數千部甚至上萬部伺服器上，同時共同來
解決某一問題，因此 MapReduce 正好可拿來專門應用在雲端運算需要的大型分散資料處理工作。
  • 對象 
    程式開發人員(具Java程式設計能力)、系統管理人員（具備Linux管理經驗）

自習

Hadoop 簡介：緣起與術語
​認識 Hadoop 官方網站
​學習下載 Hadoop 壓縮檔
​有誰在用 Hadoop

2011-12-20

上午時段 課程內容 投影片 實作步驟 錄影 / 補充資料
10:00~10:30 Hadoop 單機安裝
(for Windows XP Users)
方法一：​官方單機安裝步驟
方法二：使用 hadoop4win
方法三：使用 虛擬機器（VM） 		​文件一
文件二 		實作一 <註> Hadoop 的三種模式：
(1) 單機模式（Local Mode/Standalone? Mode）
(2) 偽分散模式（Pseudo-Distributed Mode）
(3) 完整分散模式（Fully-Distributed Mode）
10:30~11:00 HDFS 簡介與 操作練習 Part-02
牛刀小試
實作二
11:00~12:00 MapReduce 與 範例操作

牛刀小試

Part-03

實作四

Part-04

實作三

​Hadoop 0.20.2 API 線上文件

  1. ​函數編程（Functional Programming）
  2. ​Google MapReduce 論文
  3. ​Google 校園教學

Attachments (1)

Download all attachments as: .zip