Changes between Version 16 and Version 17 of NTUOSS160412


Ignore:
Timestamp:
Apr 11, 2016, 4:10:24 PM (8 years ago)
Author:
jazz
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • NTUOSS160412

    v16 v17  
    2121 || 10:00-12:00 || 淺談巨量資料專案的導入規劃與相關經驗分享 || [raw-attachment:wiki:NTUOSS160412:part-2.pdf 投影片] || ||
    2222
    23 == Self Learning ==
    2423
    25  || Hadoop 的三種模式與三種安裝方法 || * http://hadoop.apache.org - Hadoop 專案官方首頁 [[BR]] * http://www.cloudera.com - RPM/DEB 套件庫 : [http://www.etusolution.com/index.php/tw/ 精誠知意圖(Etu)] [[BR]] * http://hortonworks.com - HDP for Windows : [http://www.tcloudcomputing.com.tw 趨勢騰雲(TCloud)] [[BR]] * http://www.mapr.com - MapR : [http://www.is-land.com.tw 亦思科技] ||
    26  || 如何自己建立練習環境 || - [http://www.cloudera.com/content/support/en/downloads/quickstart_vms/cdh-5-0-x.html CDH] / [http://hortonworks.com/products/hortonworks-sandbox/#install HDP] [[BR]] * [http://go.cloudera.com/cloudera-live.html Cloudera Live - Hue 介面練習] ||
    27  || 本土社群學習資源 ||  * [http://forum.hadoop.tw/viewtopic.php?f=7&t=36011 CCDH / CCAH 考試認證指南] [[BR]] * [http://forum.hadoop.tw/ Hadoop.TW 技術討論區] [[BR]] * [https://www.facebook.com/groups/hadoop.tw/ 臉書 Hadoop.TW 社團] [[BR]] * [http://www.youtube.com/playlist?list=PL_CuZWRrYyz0ObsY409EVh66vkdtFpIWN 歷史課程錄影] ||
    2824
    2925== Hands-On Labs ==
     
    4238 || Extra || !PageRank     || || [http://www.csie.ntu.edu.tw/~bigdata/bigdata2013f.html#lab  CSIE Big Data Systems - Fall 2013 - Professor Shih-wei Liao] ||
    4339
     40== 自我學習 ==
     41
     42 * [http://www.youtube.com/playlist?list=PL_CuZWRrYyz0ObsY409EVh66vkdtFpIWN 歷史課程錄影]
     43
     44 || Hadoop 的三種模式與三種安裝方法 || * http://hadoop.apache.org - Hadoop 專案官方首頁 [[BR]] * http://www.cloudera.com - RPM/DEB 套件庫 : [http://www.etusolution.com/index.php/tw/ 精誠知意圖(Etu)] [[BR]] * http://hortonworks.com - HDP for Windows : [http://www.tcloudcomputing.com.tw 趨勢騰雲(TCloud)] [[BR]] * http://www.mapr.com - MapR : [http://www.is-land.com.tw 亦思科技] ||
     45 || 如何自己建立練習環境 || - [http://www.cloudera.com/content/support/en/downloads/quickstart_vms/cdh-5-0-x.html CDH] / [http://hortonworks.com/products/hortonworks-sandbox/#install HDP] [[BR]] * [http://go.cloudera.com/cloudera-live.html Cloudera Live - Hue 介面練習] ||
     46 || 本土社群學習資源 ||  * [http://forum.hadoop.tw/viewtopic.php?f=7&t=36011 CCDH / CCAH 考試認證指南] [[BR]] * [http://forum.hadoop.tw/ Hadoop.TW 技術討論區] [[BR]] * [https://www.facebook.com/groups/hadoop.tw/ 臉書 Hadoop.TW 社團] ||
     47
    4448= 補充設定 =
    4549
     
    5761top -p `pidof java | sed 's# #,#g'`
    5862}}}
    59  * HDFS Explore
    60    * 安裝 .Net Framework 4.5 - [http://download.microsoft.com/download/B/A/4/BA4A7E71-2906-4B2D-A0E1-80CF16844F5F/dotNetFx45_Full_setup.exe 安裝檔]
    61    * 安裝 HDFS Explorer - [http://bigdatainstallers.azurewebsites.net/files/HDFS%20Explorer/beta/1/HDFS%20Explorer%20Installer.msi 安裝檔]
    62  * 開發環境 IDE 與 Hadoop Plugin - 目前只剩下 Eclipse Plugin, '''Netbean 與 !KamaSphere Studio 的外掛已經無法下載'''
    63    * [http://trac.3du.me/cloud/wiki/NCHCCloudCourse100928_2_IDE 編譯環境設定- 安裝 Eclipse 3.3.2 與 Hadoop 外掛程式]
    64    * [http://trac.3du.me/cloud/wiki/NCHCCloudCourse100928/Netbeans 安裝 Netbean 6.9.1 中文版與 KamaSphere Studio 外掛程式]
    65  * 修改 mapred-site.xml 的參數,增加 mapper 與 reducer 的 slot 個數
    66 {{{
    67   <property>
    68     <name>mapred.tasktracker.map.tasks.maximum</name>
    69     <value>4</value>
    70   <property>
    71   <property>
    72     <name>mapred.tasktracker.reduce.tasks.maximum</name>
    73     <value>4</value>
    74   <property>
    75 }}}
    76 
    77  * https://developer.yahoo.com/hadoop/tutorial/module7.html
    78    - 其他參數設定的參考
    79  * 安裝 Ganglia
    80 {{{
    81 sudo apt-get -y install ganglia-webfrontend gmetad ganglia-monitor
    82 }}}
    8363
    8464= 課後討論 =