Changes between Version 21 and Version 22 of jazz/13-06-02
- Timestamp:
- Jun 2, 2013, 11:04:11 AM (12 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
jazz/13-06-02
v21 v22 26 26 - 將 log 透過 MR Job 或 Pig 存成 Lucene Index (?),再匯入 Solr (Index Size: 6GB) 27 27 - 缺點:無法做到遞增索引更新(incremental index update)(也得看是否能區隔遞增的更新資料(incremental data update(?))) 28 - Q1: Census 是自建的系統? 29 - Q2: Sandbox 是 Windows VM? malware 是否會故意避開 VM? 30 - Q3: 用 Pig 產生 Lucene Index 31 - Q4: 蒐集到的 Sandbox 資料是否有遞增的特性? 28 - Q1: Census 是自建的系統? A:Yes 29 - Q2: Sandbox 是 Windows VM? malware 是否會故意避開 VM? - A:Yes,是 Windows VM,會有故意避開的作法。所以需要跟駭客攻防。 30 - Q3: 用 Pig 產生 Lucene Index - A:自己寫 Storage 的 UDF 31 - Q4: 蒐集到的 Sandbox 資料是否有遞增的特性? - 資料有遞增特性,也可以產生多個小的 Index,但不穩定,即便 Solr 支援動態更新,但會遇到效能問題 32 32 * 如何使用 Solr / Lucene 到 Threat Connect (TC) 33 33 - Q: 必須自己寫 Web UI (RESTful API)? … … 46 46 }}} 47 47 - Q: 中文詞的需求高嘛? 48 - Q: 48