Taiwan Hadoop Forum
http://forum.hadoop.tw/

hive中set hive.merge.mapredfiles=true后reduce输出没有合并小文件
http://forum.hadoop.tw/viewtopic.php?f=7&t=37458
1 頁 (共 1 頁)

發表人:  louiscool [ 2013-04-26, 14:51 ]
文章主題 :  hive中set hive.merge.mapredfiles=true后reduce输出没有合并小文件

在hive中运行作业前set hive.merge.mapredfiles=true;set hive.merge.size.per.task=256000000;
设置reduce的个数为10,得到的是10个小文件,小于64M,是什么情况?按我理解应该合并成几个256M文件,恳求牛人指点,谢谢

1 頁 (共 1 頁) 所有顯示的時間為 UTC + 8 小時
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/