| Taiwan Hadoop Forum http://forum.hadoop.tw/ |
|
| hive中set hive.merge.mapredfiles=true后reduce输出没有合并小文件 http://forum.hadoop.tw/viewtopic.php?f=7&t=37458 |
第 1 頁 (共 1 頁) |
| 發表人: | louiscool [ 2013-04-26, 14:51 ] |
| 文章主題 : | hive中set hive.merge.mapredfiles=true后reduce输出没有合并小文件 |
在hive中运行作业前set hive.merge.mapredfiles=true;set hive.merge.size.per.task=256000000; 设置reduce的个数为10,得到的是10个小文件,小于64M,是什么情况？按我理解应该合并成几个256M文件，恳求牛人指点，谢谢 |
|
| 第 1 頁 (共 1 頁) | 所有顯示的時間為 UTC + 8 小時 |
| Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group http://www.phpbb.com/ |
|