Crawlzilla

Ajex

jquery timer 計時器

• ​jquery 官網
• ​介紹部落格

Nutch 1.2

• ​http://nutch.apache.org/

FTP plugin

Local File

Jetty

• 整合 hadoop 頁面與 系統狀態頁面

排程器

• crontab 格式

  crontab -l
  01 12 21 10 4 /opt/crawlzilla/nutch/bin/hadoop dfs -mkdir crontab_do
  

• crontab 匯入檔案

  crontab aaa.txt
  

手動完成最後步驟

• 故障排除：沒有後續的running job 且也沒finished 的 idle 狀態
• 之後再研究自動完成動作