wiki:waue/2009/0729

Version 3 (modified by waue, 15 years ago) (diff)

--

  • 問題1: 如何讓run裡宣告的物件,map可使用,reduce也可以呼叫到
public class ICAS extends Configured implements Tool {

  HBaseConfiguration hbase_conf;
  HBaseAdmin hbase_admin;

  public ICAS() throws IOException {
    hbase_conf = new HBaseConfiguration();
    hbase_admin = new HBaseAdmin(hbase_conf);

  }

  public static class ICAS_M extends MapReduceBase implements
      Mapper<LongWritable, Text, Text, Text> {
        //無法用hbase_admin, hbase_conf
  }

  public static class ICAS_R extends TableReduce<Text, Text> {
        //無法用hbase_admin, hbase_conf
  }

  public static void main(String[] args) throws Exception {
        //可以用hbase_admin, hbase_conf
  }
  • 問題二、如何不覆蓋原本hbase內的資料,而是累加進去
    • 要先從原本的資料庫把資料撈出來,再整合後放進去
  • 問題三、如何讓reduce 顯示進度
  • 問題四、如何讓<key,value>後的value 在進行一次<key,value>
    • 現在:
key= dest ip value= infor: sip
host M host1; host2; host1
  • 期望值:(也就是多出來的host1要被濾掉)
key= dest ip value= infor: sip
host M host1; host2