| | 1 | {{{ |
| | 2 | #!html |
| | 3 | <div style="text-align: center;"><big |
| | 4 | style="font-weight: bold;"><big><big>雲端運算核心技術 Hadoop 與 MapReduce 概念班</big></big></big></div> |
| | 5 | }}} |
| | 6 | [[PageOutline]] |
| | 7 | |
| | 8 | |
| | 9 | = 課程資訊 = |
| | 10 | |
| | 11 | * 上課時間： 2010/07/31 (六) 09:30 ～ 16:30 1 天，共計 8 個小時 |
| | 12 | * 上課地點： 板橋訓練所 板橋市民族路 168 號，或各營運處遠距教室 |
| | 13 | |
| | 14 | = 課程大綱 = |
| | 15 | |
| | 16 | * 目標 |
| | 17 | * MapReduce 是一種軟體框架(software framework)，這個軟體框架由 Google 實作出，並運行在眾多不可靠電腦組成的叢集(clusters)上，特色是能為大量資料做平行運算處理，此框架的功能概念主要是映射(Map)和化簡 (Reduce)兩種。 Hadoop 本來是 Apache.org 在 Lucene下的一個專案，由 Dong Cutting 所開發。是一個用來處理與保存大量資料的雲端運算平台。本課程目標在認識雲端運算核心技術 Hadoop 與 MapReduce 的基本概念。 |
| | 18 | * 對象 |
| | 19 | * 程式開發人員、對雲端運算技術有興趣者 |
| | 20 | |
| | 21 | == '''2010-07-31 (六)''' == |
| | 22 | |
| | 23 | ''' [raw-attachment:wiki:Hinet100731:Hadoop_Hinet_100731.pdf 本日投影片合併版]''' |
| | 24 | |
| | 25 | ''' [raw-attachment:wiki:Hinet100731:Hadoop_Hinet_100731_4pages.pdf 本日投影片四頁列印版]''' |
| | 26 | |
| | 27 | || 上午時段 || 課程內容 || 投影片 || 補充資料 || |
| | 28 | || 08:10~09:00 || 課程導引 || || || |
| | 29 | || 09:10~10:00 || [raw-attachment:wiki:Hinet100731:01.CloudIntro.pdf 雲端運算簡介] || [raw-attachment:wiki:Hinet100731:01.CloudIntro.pdf Part-01] || || |
| | 30 | || 10:10~11:00 || [raw-attachment:wiki:Hinet100731:02.HadoopOverview.pdf Hadoop簡介] || [raw-attachment:wiki:Hinet100731:02.HadoopOverview.pdf Part-02] || 1. 雲端資料庫應用 - [http://hbase.apache.org HBase], [http://nosql-database.org/ NoSQL 運動],[[BR]] [http://www.metabrew.com/article/anti-rdbms-a-list-of-distributed-key-value-stores Key-Value Database / Datastore][[BR]] 2. 如何實作 gmail 的架構，讓 webmail server 也可以有快速搜尋的功能?? [[BR]] 3. Hadoop 在 log 分析的應用實例: [http://trac.nchc.org.tw/cloud/wiki/waue/2009/SEC_to_ICAS ICAS], NutchEz [[BR]] 4. 國網中心實驗叢集的參考架構是否有公開在網路上? [http://trac.nchc.org.tw/grid/raw-attachment/wiki/jazz/10-03-01/hadoop-testbed.jpg 實驗平台照片] [[BR]] 5. [http://forum.hadoop.tw/viewtopic.php?f=4&t=54&start=0&st=0&sk=t&sd=a 關於 hadoop 在虛擬化機器上的效率] || |
| | 31 | || 11:10~12:00 || [raw-attachment:wiki:Hinet100731:03.HadoopInstallation.pdf Hadoop 安裝與設定解析] || [raw-attachment:wiki:Hinet100731:03.HadoopInstallation.pdf Part-03] || [wiki:Hadoop4Win 單機 Windows 嚐鮮實驗環境 - Hadoop4Win] || |
| | 32 | || 13:30~14:20 || [raw-attachment:wiki:Hinet100731:04.HDFS.pdf Hadoop Distributed File System 簡介] || [raw-attachment:wiki:Hinet100731:04.HDFS.pdf Part-04] || 1. HDFS 可否掛載?! || |
| | 33 | || 14:30~15:20 || [raw-attachment:wiki:Hinet100731:05.MapReduce.pdf MapReduce 介紹] || [raw-attachment:wiki:Hinet100731:05.MapReduce.pdf Part-05] || [grid:wiki:jazz/09-04-14#MapReduce 不同語言的 MapReduce 實作] || |
| | 34 | || 15:30~16:20 || HDFS 操作與 MapReduce 範例程式展示 || || || |
| | 35 | || 16:30~17:20 || [raw-attachment:wiki:Hinet100731:06.HadooDeploy.pdf 快速佈建 Hadoop 叢集] || [raw-attachment:wiki:Hinet100731:06.HadooDeploy.pdf Part-06] || || |
| | 36 | |
| | 37 | * 補充：[wiki:Hadoop_Lab5 用 Eclipse 開發 hadoop 程式 ] |
| | 38 | * 基於 !NetBeans 的 MapReduce 開發環境 - [http://www.hadoopstudio.org/ Hadoop Studio] - Karmasphere Studio for Hadoop is a Sample screenshot MapReduce development environment (IDE) based on !NetBeans. |
| | 39 | |
| | 40 | * [http://dotnetmis91.blogspot.com/2010/04/vs-hadoop-mapreduce.html 上期參訓學員(.NET碎碎念)]在聽完課程之後所寫下的部落格文章：[[http://dotnetmis91.blogspot.com/2010/04/vs-hadoop-mapreduce.html 以運算就資料(在地運算) vs. 以資料就運算 (雲端運算核心技術 Hadoop & MapReduce 概念班上課心得)]、[http://dotnetmis91.blogspot.com/2010/04/hdfs-hadoop-mapreduce.html 何謂雲端運算 ＆ HDFS 補充 (雲端運算核心技術 Hadoop & MapReduce 概念班上課心得)]。 |
| | 41 | * [http://blog.roodo.com/rocksaying/archives/10348123.html 雲端運算survey項目 - 分散式文件系統] |
| | 42 | |
| | 43 | * [[Image(http://blog.roodo.com/rocksaying/ec1935cb.png,width=600)]] |
| | 44 | * [[Image(wiki:Hinet100731:10-06-02_The_Trend_of_Cloud_Computing_and_Virtualization.png,width=600)]] |
