• Ubuntu 10.04 (CPU 1, RAM 2G) in VM
  • 同時執行 7 個爬行任務 (記憶體使用 1.2G，CPU使用率 80~85%)
    1. ​nchc官網 的 tw 和 en (深度 6)
    2. nchc intra (深度 3)
    3. ​google crawlzilla 官網 (深度 8)
    4. ​sourceforge crawlzilla 官網 (深度 8)
    5. ​trac grid (深度 8)
    6. ​trac cloud (深度 10)
    7. ​hadoop forum (深度 10)

jazz 建議 可能是 hadoop 預設 heap = 1G，所以再 2G 的情況下，很正常運作
之後改用較低的 RAM 和 修改過的 hadoop heap 參數 測試

• Ubuntu 10.04 (CPU1, RAM 512M) (hadoop Heap 512M) in VM
  • 同時執行以上3個爬取任務時，一樣會產生 out of memory 問題

• Ubuntu 10.04 (CPU1, RAM 512M) (hadoop Heap 256M) in VM
  • 同時執行以上3個爬取任務時，一樣會產生 out of memory 問題
  • error message (syslog)

    600 Sep  9 09:59:28 ubuntu-186 kernel: [ 3708.133724] Out of memory: kill process 3843 (go.sh) score 1775788 or a child
    601 Sep  9 09:59:28 ubuntu-186 kernel: [ 3708.133791] Killed process 4205 (counter.sh)
    602 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.200789] counter.sh invoked oom-killer: gfp_mask=0x200da, order=0, oom_adj=0
    603 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.200978] counter.sh cpuset=/ mems_allowed=0
    604 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201021] Pid: 11384, comm: counter.sh Not tainted 2.6.32-24-generic #39-Ubuntu
    605 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201061] Call Trace:
    606 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201133]  [<c01cd1f4>] oom_kill_process+0xa4/0x2b0
    607 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201201]  [<c01cd869>] ? select_bad_process+0xa9/0xe0
    608 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201267]  [<c01cd8f1>] __out_of_memory+0x51/0xa0
    609 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201333]  [<c01cd998>] out_of_memory+0x58/0xb0
    610 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201399]  [<c01d01a7>] __alloc_pages_slowpath+0x407/0x4a0
    611 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201466]  [<c01d037a>] __alloc_pages_nodemask+0x13a/0x170
    612 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201533]  [<c01e6049>] do_wp_page+0x1b9/0x820
    613 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201600]  [<c013052c>] ? kmap_atomic_prot+0x4c/0xf0
    614 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201666]  [<c01e6e0c>] handle_mm_fault+0x2fc/0x390
    615 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201733]  [<c058f1bd>] do_page_fault+0x10d/0x3a0
    616 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201799]  [<c058f0b0>] ? do_page_fault+0x0/0x3a0
    617 Sep  9 09:59:28 ubuntu-186 kernel: [ 3709.201865]  [<c058d0b3>] error_code+0x73/0x80