close Warning: Can't synchronize with repository "(default)" (Unsupported version control system "svn": /usr/lib/python2.7/dist-packages/libsvn/_fs.so: failed to map segment from shared object: Cannot allocate memory). Look in the Trac log for more information.

Changes between Version 21 and Version 22 of jazz/13-06-02


Ignore:
Timestamp:
Jun 2, 2013, 11:04:11 AM (13 years ago)
Author:
jazz
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • jazz/13-06-02

    v21 v22  
    2626   - 將 log 透過 MR Job 或 Pig 存成 Lucene Index (?)，再匯入 Solr (Index Size: 6GB)
    2727   - 缺點：無法做到遞增索引更新（incremental index update）(也得看是否能區隔遞增的更新資料（incremental data update(?)）)
    28    - Q1: Census 是自建的系統？
    29    - Q2: Sandbox 是 Windows VM？ malware 是否會故意避開 VM？
    30    - Q3: 用 Pig 產生 Lucene Index
    31    - Q4: 蒐集到的 Sandbox 資料是否有遞增的特性？
     28   - Q1: Census 是自建的系統？ A:Yes
     29   - Q2: Sandbox 是 Windows VM？ malware 是否會故意避開 VM？ - A:Yes,是 Windows VM，會有故意避開的作法。所以需要跟駭客攻防。
     30   - Q3: 用 Pig 產生 Lucene Index - A：自己寫 Storage 的 UDF
     31   - Q4: 蒐集到的 Sandbox 資料是否有遞增的特性？ - 資料有遞增特性，也可以產生多個小的 Index，但不穩定，即便 Solr 支援動態更新，但會遇到效能問題
    3232 * 如何使用 Solr / Lucene 到 Threat Connect (TC)
    3333   - Q: 必須自己寫 Web UI (RESTful API)？
    … …  
    4646}}}
    4747   - Q: 中文詞的需求高嘛？
    48    - Q:
     48