Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-05-22, 06:30

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : jazz 麻烦看看这个异常是什么导致的
文章發表於 : 2010-11-14, 19:24 
離線

註冊時間: 2010-05-15, 18:24
文章: 27
这是在使用HIVE建立中间表的时候出现的异常,好像和压缩文件有关,我们使用的gzip压缩,其中一个语句出现了这样的异常,导致任务执行失败:

java.io.IOException: incorrect data check
at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.inflateBytesDirect(Native Method)
at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.decompress(ZlibDecompressor.java:221)
at org.apache.hadoop.io.compress.DecompressorStream.decompress(DecompressorStream.java:81)
at org.apache.hadoop.io.compress.DecompressorStream.read(DecompressorStream.java:75)
at java.io.InputStream.read(InputStream.java:85)
at org.apache.hadoop.util.LineReader.readLine(LineReader.java:134)
at org.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:136)
at org.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:40)
at org.apache.hadoop.hive.ql.io.HiveRecordReader.next(HiveRecordReader.java:58)
at org.apache.hadoop.hive.ql.io.HiveRecordReader.next(HiveRecordReader.java:27)
at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.moveToNext(MapTask.java:192)
at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.next(MapTask.java:176)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:48)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:358)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
at org.apache.hadoop.mapred.Child.main(Child.java:170)


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: jazz 麻烦看看这个异常是什么导致的
文章發表於 : 2010-11-14, 20:24 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
cnweike 寫:
这是在使用HIVE建立中间表的时候出现的异常,好像和压缩文件有关,我们使用的gzip压缩,其中一个语句出现了这样的异常,导致任务执行失败:
java.io.IOException: incorrect data check
at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.inflateBytesDirect(Native Method)
at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.decompress(ZlibDecompressor.java:221)


不好意思,Hive 我不熟耶~看起來確實是在解壓縮(Decompress)過程中遇到的問題
從您的描述,站上其他的高手可能也無法了解為何會產生這樣的錯誤耶 :P

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作