= Crawlzilla爬取數據參考 = == 單機測試 == 主機資訊 CPU: Intel® Core™ i7-920 Processor 記憶體: 12GiB 作業系統: Ubuntu 10.04(lucid) Linux 2.6.32-26-generic Cralzilla版本: 0.3.0-101115 安裝於一台主機上 測試方式: 各別summit job,前一crawl job完成後再執行下一個job,非同時summit全部job 起始位址: http://udn.com/NEWS/mainpage.shtml 測試結果 ||Depth||Exec. Time(HR)||Crawl Files||Crawl Words|| ||3||0.88||4599||89742|| ||4||1.58||8903||126229|| ||5||2.83||13498||171480|| ||6||9.12||16744||204349|| ||7||9.61||21324||312669|| ||8||10.28||24984||356119|| ||9||9.3||28044||413921|| ||10||9.44||31981||431790|| == 叢集測試 == 計算節點數量: 6 主機資訊 CPU: 記憶體: 8GiB 作業系統: Ubuntu 10.04(lucid) Linux Kernel: Cralzilla版本: 0.3.0-101116 測試方式: shell script 執行爬取3~10層的Job 起始位址: http://udn.com/NEWS/mainpage.shtml 測試結果 ||Depth||Exec. Time(HR)||Crawl Files||Crawl Words|| ||3||0.9||4642||89168|| ||4||2.02||8212||123186|| ||5||2.98||12517||163206|| ||6||3.95||16220||210714|| ||7||6.23||19577||319898|| ||8|||||||| ||9|||||||| ||10||||||||