Changes between Version 2 and Version 3 of Hinet101011

Timestamp:

Oct 11, 2010, 12:58:09 PM (15 years ago)

Author:

jazz

Comment:

--

Hinet101011

@@ -36 +36 @@
  || 15:00~16:20 || 大量資料分析應用分享[[BR]] - 雲端入侵偵測日誌分析[[BR]] - 企業內網搜尋引擎 || [raw-attachment:wiki:Hinet101006:part-7.pdf part-7][[BR]][raw-attachment:wiki:Hinet101006:part-8.pdf part-8] ||
 
-== 參考資料 ==
+= 補充資料 =
 
- * 大量分析的範例:
+== 大量資料分析 ==
    * 美國 !SimplyHired 分析工作關鍵字 / 地點 / 關鍵字趨勢 - http://www.simplyhired.com/trends
-   * MarkMail 使用 XQuery 技術作全球八千多個郵件討論串(mail list)的關鍵字分析 - http://markmail.org/
+   * !MarkMail 使用 XQuery 技術作全球八千多個郵件討論串(mail list)的關鍵字分析 - http://markmail.org/
    * Location Plus ! 結合 LBS (Location Based Service) 與批批踢論壇, 提供各地熱門話題 
      - http://locationplus.chienwen.net/
      - http://locationplus.bpapps.com/
      - [http://www.ithome.com.tw/itadm/article.php?c=58008 開發 Hadoop 雲端應用沒那麼難] (iThome 報導)
+
+== 分散式資料庫效能 ==
+
+ * [benchmark] [http://wiki.github.com/brianfrankcooper/YCSB/ Yahoo! Cloud Serving Benchmark (YCSB)] - [http://research.yahoo.com/node/3202 論文: Benchmarking Cloud Serving Systems with YCSB]
+   * Yahoo 寫的效能測試軟體，YCSB 1.2 版支援 HBase, Cassandra, MongoDB
+   * 從[http://www.brianfrankcooper.net/pubs/ycsb-socc-talk.ppt 論文簡報投影片]得到的[http://www.brianfrankcooper.net/pubs/ycsb-v4.pdf 結論]注意到幾件事情：
+     * 若資料庫特性是一半讀一半寫，MySQL 大約在 7500 operations/sec 時會到達效能極限。若資料庫特性是 95% 讀 5% 寫，就沒看到明顯效能極限。
+     * HBase 寫入飛快，但讀取會稍微慢一點，而且讀取的效率不太線性。(寫入記憶體所以超快，但成本也比較高，查詢時重建紀錄) 加機器時，不會有明顯的效能差異 (跟 HDFS 一樣，要跑 balancer 才會搬資料)。 - Low Update Latency, Higher Read Latency
+     * Cassandra 寫入稍微慢一點，讀取則比 HBase 快，特別是資料庫特性是 95% 讀取時比 HBase 快。加機器的時候，會需要一段時間才能讓效能穩定下來(這部分我覺得是副本架構造成的)。
+     * [[Image(NCHCCloudCourse100928:cassandra_hbase_update_heavy.png,width=800)]]
+     * [[Image(NCHCCloudCourse100928:cassandra_hbase_read_heavy.png,width=800)]]
+     * [[Image(NCHCCloudCourse100928:cassandra_hbase_short_scans.png,width=800)]]
+     * [[Image(NCHCCloudCourse100928:cassandra_hbase_scale_up.png,width=800)]]
+