Taiwan Hadoop Forum
http://forum.hadoop.tw/

如果让reducer直接输出给mapper?
http://forum.hadoop.tw/viewtopic.php?f=7&t=37765
1 頁 (共 1 頁)

發表人:  chenrla [ 2013-07-01, 15:10 ]
文章主題 :  如果让reducer直接输出给mapper?

目前有jobA和jobB:

jobA的reducer输出就是jobB的mapper输入!

考虑这样做效率不高,因为jobA输出需要写到磁盘,然后jobB的mapper再去读取!

有没有办法让reducer做完后接一个mapper直接shuffle到下个reducer?

查了一些chainreducer的资料,reducer后只能跟mapper,貌似是不能再接reducer?

1 頁 (共 1 頁) 所有顯示的時間為 UTC + 8 小時
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/