wiki:waue/2009/0729

Version 1 (modified by waue, 15 years ago) (diff)

--

  • 問題1: 如何讓run裡宣告的物件,map可使用,reduce也可以呼叫到
public class ICAS extends Configured implements Tool {

	HBaseConfiguration hbase_conf;
	HBaseAdmin hbase_admin;

	public ICAS() throws IOException {
		hbase_conf = new HBaseConfiguration();
		hbase_admin = new HBaseAdmin(hbase_conf);

	}

	public static class ICAS_M extends MapReduceBase implements
			Mapper<LongWritable, Text, Text, Text> {
        //無法用hbase_admin, hbase_conf
	}

	public static class ICAS_R extends TableReduce<Text, Text> {
        //無法用hbase_admin, hbase_conf
	}

	public static void main(String[] args) throws Exception {
        //可以用hbase_admin, hbase_conf
	}
  • 問題二、如何不覆蓋原本hbase內的資料,而是累加進去
    • 要先從原本的資料庫把資料撈出來,再整合後放進去
  • 問題三、如何讓reduce 顯示進度
  • 問題四、如何讓<key,value>後的value 在進行一次<key,value>

現在:

key= dest ip value= infor: sip
host M host1; host2; host1

期望值:(也就是多出來的host1要被濾掉)

key= dest ip value= infor: sip
host M host1; host2