Changes between Version 8 and Version 9 of nutchez2


Ignore:
Timestamp:
May 19, 2010, 5:42:47 PM (14 years ago)
Author:
waue
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • nutchez2

    v8 v9  
    22#!html
    33<div style="text-align: center; color:#151B8D"><big style="font-weight: bold;"><big><big>
    4 NutchEz V2 開發說明
     4NutchEz V2 開發者網頁
    55</big></big></big></div> <div style="text-align: center; color:#7E2217"><big style="font-weight: bold;"><big>
    66 國網中心自由軟體實驗室
    … …  
    99[[PageOutline]]
    1010
    11 = 說明 =
     11= 一、討論內容 =
    1212
    13  * Nutch 是目前最知名也是最好的opensource 搜尋引擎專案之一，想製作自己的客製化搜尋引擎？ 用Nutch就對了！
    14  * 但是Nutch的設定繁瑣，因此我們之前試著開發 NutchEz 來幫助簡化安裝、設定以及操作的步驟
    15  * NutchEz 顧名思義就是Nutch Easy，只要安裝NutchEz後就，再加上幾個指令，就可以輕鬆的產生出你自己的搜尋引擎囉！
    16  * 目前正開始第二版本的NutchEz v0.2 ，希望能開發出功能更強，選項更多，但操作更人性化的專案
     13 * [http://trac.nchc.org.tw/cloud/wiki/nutchez2_talk archive]
    1714
    18 = 適用於 =
    19 已經有很多搜尋引擎了，為什麼我們還要自己建？[[BR]]
    20 原因有兩點(以下內容取自於[http://www.techbang.com.tw/posts/1559 家裡敦雲端搜尋公司] ):
    21  * 商業必然廣告
     15 == 3st (5/17) ==
     16 * 討論事項
     17   *  圖形介面
     18   * 安裝步驟
     19   * 簡介系統流程
     20 * 決議
     21   * 目前有三個功能要完成： 1. 安裝前制步驟檢查 （check_root.sh） 2.  安裝程式碼（Install.sh）3. 管理網頁（admin.php or admin.jsp）
     22 * 下次進度
     23    * 討論方式與svn、程式架構圖、流程設計、時程表
     24 || waue || survey 網頁管理框架 ||  ||
     25 || shunfa || 實做Install.sh 主邏輯  ||   ||
     26 || rock || 實做 check_root.sh 主邏輯 ||   ||
    2227
    23  搜尋幾乎是現代人上網時必做的事項之一，各大入口網站也無不絞盡腦汁提供更貼近人性化的搜尋。好用的搜尋讓人如魚得水，難以割捨；不好用的則將怨聲載道，眾叛親離。讀者們或許有過如下經驗：使用某大商業搜尋引擎時，列出的結果總是塞了一堆行銷和廣告，我們得用眼睛過濾掉這些無用的資訊並多翻個幾頁才可能找到想要的資料。
     28 == 4st (5/21) ==
     29 * 討論事項
     30   * [wiki:nutchez_svn subversion 專案管理]
     31   * 多國語言方案
     32   * 目錄決定
     33 = [wiki:waue/2010/nutchez2_archi 二、系統架構(編輯)] =
    2434
    25  當然我們不該指責這些提供搜尋的公司，公司本為了獲利而生存，在需獲利又不能跟使用者收費的前提下，勢必得提供廣告版面給買主，或是將廣告行為秘密地安插至搜尋結果中，但這些行為依舊會影響到使用者的操作便利性。其實搜尋引擎不必然非得由大公司把持，即使是個人網站或企業內部，也可建置出相當客製化的搜尋引擎，而不必屈就於商業搜尋引擎。
     35[[WikiInclude(waue/2010/nutchez2_archi)]]
    2636
    27  * 建立自己的搜尋
     37 = [wiki:waue/2010/nutchez2_procedure  三、各元件流程圖 (編輯)] =
    2838
    29  部份個人或企業內部在架設網站時或許有些機密資料並不希望被商業搜尋引擎挖掘到，但仍需提供搜尋欄位給使用者找尋站內或其他相關網站的資料，這時候建立一個自己的搜尋引擎會是一個不錯的方案。
     39[[WikiInclude(waue/2010/nutchez2_procedure)]]
    3040
    31  當然筆者傳授的不會是需要讀者花錢的玩意兒，只要讀者可以連接到網路，一切搞定。搜尋引擎固然可以自己打造，但矛盾的是網海無涯，區區一台電腦怎麼在短時間內對網路上的資訊做蒐集檢索？筆者在此也不建議對整個網路做全面性的分析，即使是超級電腦也要運算好一段時間。我們可針對特定網站進行分析檢索，並運用目前熱門的雲端平台來加速分析的進行，讓讀者們更加瞭解雲端運算的好用之處。以下將介紹可建立搜尋引擎的開放原始碼軟體Nutch，以及上期簡單介紹過可發揮雲端力量的分散式運算軟體Hadoop。
     41= 四、時間表 =
    3242
    33 == 第一版本NutchEz 說明 ==
    34  * NutchEz V 0.1 的特色
    35    * 專為 debian 系統開發，因此打包成 deb 檔，使用者只要點兩下即可安裝
    36    * 已整合所有需要用到的套件 (Nutch + Hadoop + Tomcat)，並調整過中文支援設定
    37    * 使用 linux 的 dialog (cdialog) 介面，好處是開發容易，並且遠端登入的使用者也能使用此圖形介面
    38    * 步驟簡單，大約五個步驟，完成前有設定參數確認頁，確認系統即開始建構搜尋引擎
    39  * 連結
    40    * [http://trac.nchc.org.tw/cloud/wiki/NutchEz nutchez 第一版本的說明網站 ]
    41    * [http://trac.nchc.org.tw/cloud/attachment/wiki/NutchEz/1.png 第一版本的截圖]
    42  
    43 == 第二版本NutchEz 的新增功能 ==
     43 || 項目 || 預計 || 開始 || 完成 ||
     44 || 企劃書 || 5/3~5/4 || 5/3 || 5/5  ||
     45 || survey || 5/3~5/7 || 5/3  ||   ||
     46 || 開發 || 5/10~9/1 ||   ||   ||
     47 || 試用與除錯 || 9/1~9/20  ||   ||   ||
     48 || 專案完成 || 9/20 ||   ||   ||
    4449
    45  === 網頁管理 ===
    46  * 網頁管理介面，提供更多選項、更完整的資訊，並可遠端操作
    47  === 簡易安裝 ===
    48  * 安裝設定利用 dialog ，簡單又可遠端操作
    49  === 支援叢集運算 ===
    50  * 支援在叢集上透過平行分散式方法抓取分析網頁
    51  === 適用汎 Linux 平台 ===
    52  * 支援多種 Linux Distribution
    53  === 多種語言 ===
    54  * 介面支援多國語言
    55  === 中文最佳化 ===
    56  * 增加中文分詞
    57  * 解決中文亂碼
    58  === 修正部份 bug ===
    59  * 包括 Nutch or NutchEz v0.1
    60 
    61  = 其他連結  =
     50= 五、相關連結 =
     51 * [wiki:nutchez2_intro nutchez v2 的介紹連結]
    6252 *  luke - [http://www.getopt.org/luke/ nutch 的統計頁面]
    6353 *  Iframe - 網頁鑲嵌其他網頁，用以整合cluster資訊
    64 
    65 
    6654 * [http://code.google.com/p/nutchez/ nutchez 的 google code site 專案 ]
    6755 * [wiki:waue/2010/0430 賽程資訊]