wiki:TCCA140822
雲端巨量資料分析與應用

預備知識

  • 具 Linux 操作實務與 Java 程式語言基礎者尤佳。

課程日期

  • 103 年 08 月 23 ~ 24 日 (週六/週日 白天 9:30 ~ 16:30 ),共 2 天、計 12 小時 。

上課地點

  • 台中市北區三民路三段 91 號 ( 台中科大育成中心 2F,203 教室)

課程內容

2014-08-22(六)

上午時段 課程內容 實作 補充資料
09:00~11:05 淺談海量資料的趨勢、挑戰與因應對策 1.關於 NoSQL 的選擇依據 - YCSB
2. NoSQL 的種類
3. NoSQL vs NewSQL
4. Big Data 產業供應鏈與人才現況
5. Taiwan 學習統計/機器學習的社群
11:05~11:15 中場休息
11:15~12:00 處理海量資料的資訊架構與關鍵技術 1. Big Data : Past, Now and Future
12:00~13:00 午餐、午休
下午時段 課程內容 實作 補充資料
11:10~12:00 實作一:Hadoop 單機安裝 實作一
實作二
1. Hadoop 單機安裝(Ubuntu Linux)
13:00~14:20 Hadoop 簡介:緣起與術語
14:20~15:30 HDFS 觀念與指令解說
15:30~15:40 中場休息
15:40~17:00 實作二:HDFS 操作實務 實作三
實作四

2014-06-15(日)

上午時段 課程內容 實作 補充資料
09:00~11:00 MapReduce 簡介 1. 三種 Big Data 應用特性 vs 三種技術
2. ChainMapper, ChainReducer
11:00~11:10 中場休息
11:10~12:10 實作三:MapReduce 範例操作 實作五
實作六
1. 叢集安裝與MapReduce除錯
下午時段 課程內容 實作 補充資料
13:10~13:40 Hadoop 範例程式 WordCount 與觀念講解 程式碼
13:40~14:00 Hadoop 相關專案(1) Hadoop Streaming
14:00~14:25 實作五:Hadoop Streaming 操作練習 實作九
實作十
14:25~14:35 中場休息
14:35~15:00 Hadoop 叢集安裝設定解說
15:00~15:30 Hadoop 相關專案(2) - Pig 1.將 Pig 運算結果透過 DBStorage 存到 MySQL 資料庫
2. 將 Pig 運算結果透過 HBaseStorage 存到 HBase 資料庫
15:30~16:00 實作六:Pig Latin 操作練習 實作十一

2014-09-27(六)

上午時段 課程內容 實作 補充資料
10:00~10:40 HBase 雲端資料庫簡介
10:40~10:50 HBase 操作觀察 實作十二
10:50~11:00 中場休息
11:00~12:00 使用 Koding.com 做 Hadoop 安裝練習 實作十三
下午時段 課程內容 實作 補充資料
13:00~14:00 TreasureData 練習 Hive 指令 實作十四 1. https://console.treasuredata.com
14:00~16:00 VBA 實作練習 實作十五 1. 啟用 Office 2010 的【開發人員】命令選項

參考書目

  1. <學習資源> Hadoop 目前三本書籍
  2. Data-Intensive Text Processing with MapReduce (PDF),Jimmy Lin, University of Maryland

參考資料

課後練習

  • 使用Hadoop4Win - 在 Windows 上安裝單機版 Hadoop 與 HBase 練習環境 (注意:僅供練習使用,請勿用於實際營運!

輔助工具

Last modified 10 years ago Last modified on Sep 27, 2014, 1:32:46 PM

Attachments (1)