雲端運算基礎課程
- nutch 投影片 , 實做 , 其他實做調整, pipes and streaming
2009 - 03 - 30 : 上午
| 課目 | 時間 | 長度
|
| 0. 課程介紹與自我介紹時間 | 10 min | 9:30~9:40
|
| 1. 雲端運算簡介 | 1h | 9:40~10:30
|
| 2. Hadoop簡介 | 50 min | 10:40~11:30
|
| 實作一： Hadoop 單機安裝 | 20 min | 11:30~11:50
|
2009 - 03 - 30 : 下午
| 課目 | 時間 | 長度
|
| 3. HDFS 介紹 | 1h | 13:00~14:00
|
| 實作二： HDFS 指令操作練習 | 1h | 14:00~15:00
|
| 4. 叢集環境設定說明 | 50 min | 15:10~16:00
|
| 實做三： Hadoop 叢集安裝與 HDFS 指令操作練習 | 1h | 16:00~17:00
|
2009 - 03 - 31 : 上午
| 課目 | 時間 | 長度
|
| 5. MapReduce簡介 | 40 min | 9:35~10:10
|
| 6. Hadoop MapReduce 程式設計解說 | 50 min | 10:15~11:10
|
| 實作四： MapReduce 範例實做 | 20 min | 11:20 ~ 11:40
|
| 7. 小結 | 10 min
|
2009 - 03 - 31 : 下午
| 課目 | 時間 | 長度
|
| 8. drbl 課程 | 40min
|
| 實作： 運用 DRBL 將電腦教室轉化為 Hadoop 叢集 | 3h
|
學員課程上建議：
- 多舉例應用範圍
- 多解釋web ui
- 找出更多範例
- 感受錯誤容忍機制、體驗大量處理機制
- 增加hadoop-default.xml的有用參數
問卷之改進反應
1. 進階程式設計,例如一些新技術或是新應用
2. 希望在南部也能開一場
3. 雲端計算課程進階(load balance,容錯示範..etc),雲端計算課程程式實做(nutch),雲端計算結合DRBL實做(如何快速部屬雲端叢集),雲端計算+HBase
5. 雲端計算實做步驟可再詳盡一些,希望回去自己實做時照網頁步驟也可以完成,不侷限在國網電腦教室環境. 如果可以再加上操作影片示範會更好
6. 實際應用部分可以在多一些實作
問題
- server如何增加client 數
- 是否能連到正確的namenode取決於conf/hadoop-site.xml
$ bin/hadoop-daemon.sh --config ./conf start datanode
starting datanode, logging to /tmp/hadoop/logs/hadoop-waue-datanode-Dx7200.out
$ bin/hadoop-daemon.sh --config ./conf start tasktracker
starting tasktracker, logging to /tmp/hadoop/logs/hadoop-waue-tasktracker-Dx7200.out
Total number of blocks: 1
