hadoop比大小(java.lang.ArrayIndexOutOfBoundsException:1)

jj81427tw · **註冊時間:** 2012-07-30, 20:39 **文章:** 10

請教一下各位高手這是比較數字大小得程式遇到以下問題
*hadoop版本1.0.3
error::
19:52:00 INFO mapred.JobClient: Task Id : attempt_201309131249_0016_m_000000_1, Status : FAILED
java.lang.ArrayIndexOutOfBoundsException: 1
at MaxminTest$MyMapper.map(MaxminTest.java:34)
at MaxminTest$MyMapper.map(MaxminTest.java:19)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
確實有把test上傳到DFS上
輸入指令:bin/hadoop jar MaxminTest.jar MaxminTest
拜託各位幫忙解惑!

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

jj81427tw 寫:

java.lang.ArrayIndexOutOfBoundsException: 1
at MaxminTest$MyMapper.map(MaxminTest.java:34)
at MaxminTest$MyMapper.map(MaxminTest.java:19)

錯誤：在 34 行。

請先確定 split 是否正常運作。感覺上 flows[] 只有一個內容(只有 flows[0])，所以 flows[1] 取不到值。

原因：

看過 text.txt 內容，每行只有一個數值，沒有跳格符號('\t'，也就是 TAB)，
既然輸入沒有跳格符號那 split("\t") 就沒有作用。

代碼:

31         protected void map(LongWritable k1, Text v1, Context context) throws     IOException ,InterruptedException {
 32             //按照制表符進行分割
 33             final String[] flows = v1.toString().split("\t");
 34             //將文本轉數值
 35             final long val = Long.parseLong(flows[1]);
 36             //保存在0索引
 37             tops[0] = val;
 38             //排序後最大值在最後一個索引，這樣由後到前，依次?小
 39             Arrays.sort(tops);
 40         }

- Jazz

Taiwan Hadoop Forum

hadoop比大小(java.lang.ArrayIndexOutOfBoundsException:1)

誰在線上