wiki:PU100825
雲端運算核心技術 Hadoop 與 MapReduce 概念班

課程資訊

  • 上課時間: 2010/08/25 (三) 09:00 ~ 16:00 1 天,共計 6 個小時
  • 上課地點: 靜宜大學

課程大綱

  • 目標
    • MapReduce 是一種軟體框架(software framework),這個軟體框架由 Google 實作出,並運行在眾多不可靠電腦組成的叢集(clusters)上,特色是能為大量資料做平行運算處理,此框架的功能概念主要是映射(Map)和化簡 (Reduce)兩種。 Hadoop 本來是 Apache.org 在 Lucene下的一個專案,由 Dong Cutting 所開發。是一個用來處理與保存大量資料的雲端運算平台。本課程目標在認識雲端運算核心技術 Hadoop 與 MapReduce 的基本概念。
  • 對象
    • 程式開發人員、對雲端運算技術有興趣者

2010-08-25 (三)

本日投影片合併版

本日投影片四頁列印版

上午時段 課程內容 投影片 補充資料 實作練習
08:10~09:00 課程導引
09:10~10:00 雲端運算簡介 Part-01
10:10~11:00 Hadoop簡介 Part-02-1
Part-02-2
1. 雲端資料庫應用 - HBase, NoSQL 運動,
Key-Value Database / Datastore
2. 如何實作 gmail 的架構,讓 webmail server 也可以有快速搜尋的功能??
- A: MarkLogic Server 有類似機制 - Demo
- [影片] Terapot: Email Archiving with Hadoop - 投影片
3. Hadoop 在 log 分析的應用實例: ICAS, NutchEz
4. 國網中心實驗叢集的參考架構是否有公開在網路上? 實驗平台照片
5. 關於 hadoop 在虛擬化機器上的效率
11:10~12:00 Hadoop 安裝與設定解析 Part-03 1. 單機 Windows 嚐鮮實驗環境 - Hadoop4Win
13:30~14:20 Hadoop Distributed File System 簡介 Part-04 1. HDFS 可否掛載?! 其他參考指令
14:30~15:20 MapReduce 介紹 Part-05 1. 不同語言的 MapReduce 實作
15:30~16:20 HDFS 操作與 MapReduce 範例程式展示 - 基於 hadoop4win (haduzilla, 黑肚龍)
16:30~17:20 快速佈建 Hadoop 叢集 Part-06 1. DRBL-Hadoop 0.0.2 版 Demo
2. DRBL-Hadoop Live CD 0.1.0 嚐鮮版

補充內容

  • http://blog.roodo.com/rocksaying/ec1935cb.png
Last modified 14 years ago Last modified on Aug 25, 2010, 2:23:11 PM