= Crawlzilla爬取數據參考 =

== 單機測試 ==
||主機資訊|| ||
||CPU||Intel® Core™ i7-920 Processor||
||記憶體|| 12GiB||
||作業系統||Ubuntu 10.04(lucid) (x86)||
|| Kernel||Linux 2.6.32-26-generic||
||Cralzilla版本||: 0.3.0-101115 安裝於一台主機上||

測試方式: 各別summit job，前一crawl job完成後再執行下一個job，非同時summit全部job
起始位址: http://udn.com/NEWS/mainpage.shtml

測試結果
||Depth||Exec. Time(HR)||Crawl Files||Crawl Words||
||3||0.88||4599||89742||
||4||1.58||8903||126229||
||5||2.83||13498||171480||
||6||9.12||16744||204349||
||7||9.61||21324||312669||
||8||10.28||24984||356119||
||9||9.3||28044||413921||
||10||9.44||31981||431790||

== 叢集測試 ==

=== 計算節點（6）  ===

||主機資訊	|| ||
||計算節點數量||6||
||CPU||Intel(R) Core(TM)2 Quad CPU    Q9550  @ 2.83GHz||
||記憶體||8GiB||
||作業系統||Ubuntu 10.04(lucid) (x86) ||
||Linux Kernel||2.6.32-27 (PAE enabled)||
||Cralzilla版本||0.3.0-101116||

測試方式: shell script 執行爬取3~10層的Job
起始位址: http://udn.com/NEWS/mainpage.shtml

測試結果
||Depth||Exec. Time(HR)||Crawl Files||Crawl Words||
||3||0.9||4642||89168||
||4||2.02||8212||123186||
||5||2.98||12517||163206||
||6||3.95||16220||210714||
||7||6.23||19577||319898||
||8||5.78||22705||351934||
||9||6.01||26148||407658||
||10||6.34||30954||440307||

=== 計算節點（3）  ===

||主機資訊	|| ||
||計算節點數量||3||
||CPU||Intel(R) Core(TM)2 Quad CPU    Q9550  @ 2.83GHz||
||記憶體||8GiB||
||作業系統||Ubuntu 10.04(lucid) (x86) ||
||Linux Kernel||2.6.32-27 (PAE enabled)||
||Cralzilla版本||0.3.0-101116||

測試方式: shell script 執行爬取3~10層的Job
起始位址: http://udn.com/NEWS/mainpage.shtml

測試結果
||Depth||Exec. Time(HR)||Crawl Files||Crawl Words||
||3||0.75||2457||60438||
||4||2.39||6830||108784||
||5||2.5||11398||153627||
||6||4.7||15310||233880||
||7||6.09||19538||232897||
||8||5.51||23300||348894||
||9||6.33||26689||379194||
||10||7.98||30605||431518||


== Reference ==
 * maps & reduces number
   * [http://www.ics.uci.edu/~abehm/hadoop.html#how_many_maps_reduces]