wiki:Hinet130923
雲端運算之大資料處理實務班

課程目標

  • 學習 Hadoop File System 之 API 實作
  • 學習 Hadoop MapReduce 開發輔助工具 Eclipse
  • 學習 MapReduce 之 API 實作

預備知識

  • 具 Linux 操作實務與 Java 程式語言基礎者尤佳。

課程日期

  • 102年7月23~24日 (週一/週二 白天9:10 ~16:20 ),共2天、計12小時 。

課程內容

2013-07-23(一)

時段 課程內容 實作 補充資料
09:10-10:00 Big Data 與 Hadoop 的關聯 * 重點一:減少資料搬運的頻寬成本跟時間成本
* 重點二:在地運算(Data Locality)
10:00-10:20 Hadoop 的三種模式與三種安裝方法 實作零 * http://www.cloudera.com - RPM/DEB 套件庫
* http://hortonworks.com - HDP for Windows
10:20-10:50 單機模式(Local Mode)操作觀察 實作一 * 阿帕契基金會官網單機安裝流程
* Ubuntu 安裝 Hadoop / HBase 單機安裝腳本
10:50-11:00 中場休息
11:00-11:40 偽分散式模式(Pseudo-Distributed Mode)操作觀察 實作二
11:40-12:00 全分散式模式(Full Distributed Mode)操作觀察 實作三
12:00-13:30 午餐時間
13:30-14:30 Hadoop 簡介:四個背景程式的分工情形 投影片 * 高通量資料處理平台
14:30-14:50 HDFS 基本指令操作 實作四
14:50-15:00 中場休息
15:00-15:30 基本除錯技能(一) Bash 除錯 實作五
15:30-15:50 基本除錯技能(二) Log4J 實作六
15:50-16:20 基本除錯技能(三) 切換 Hadoop 設定檔 實作七
16:20-17:10 課後討論與填寫線上習題 * http://elearn.cht.com.tw

2013-07-24(二)

時段 課程內容 實作 補充資料
09:10-09:50 Windows 版 Hadoop 安裝 實作八
09:50-10:20 Hadoop 叢集設定 投影片
10:20-10:40 中場休息
10:40-11:00 實作練習:Hadoop 叢集設定 實作九
11:00-12:00 Eclipse 安裝 實作十 * 設定與操作 Eclipse Plugin 產生 Hadoop 專案的步驟
12:00-13:30 午餐時間
13:30-14:00 MapReduce 基本指令操作 實作十一
14:00-14:45 Hadoop FileSystem API 實作(一)
Local 檔案上傳到 HDFS
實作十二
14:45-15:00 中場休息
15:00-15:15 Hadoop FileSystem API 實作(二)
HDFS 下載檔案到 Local
實作十三
15:15-15:30 Hadoop FileSystem API 實作(三)
判斷檔案是否存在、屬性為何
實作十四
15:30-16:00 新版 Hadoop MapReduce 語法(0.19以後)
使用 WordCount 範例解說
實作十五
16:00-16:20 舊版 Hadoop MapReduce 語法(0.19以前)
使用 WordCount 範例解說
實作十六
Last modified 11 years ago Last modified on Sep 24, 2013, 3:00:22 PM

Attachments (1)