Taiwan Hadoop Forum
http://forum.hadoop.tw/

關於hadoop setNumReduceTask問題
http://forum.hadoop.tw/viewtopic.php?f=7&t=38314
1 頁 (共 1 頁)

發表人:  poolikujm123 [ 2016-04-05, 17:59 ]
文章主題 :  關於hadoop setNumReduceTask問題

我用三台虛擬機跑hadoop,
想讓reducer 分成三個
如果不透過eclipse程式進行編輯,
設定job.setNumReduceTask(3),

想使用hadoop終端機有辦法修改嗎?
或者是修改hadoop中的文件之類的參數?

發表人:  jazz [ 2016-04-06, 08:06 ]
文章主題 :  Re: 關於hadoop setNumReduceTask問題

poolikujm123 寫:
我用三台虛擬機跑hadoop,
想讓reducer 分成三個
如果不透過eclipse程式進行編輯,
設定job.setNumReduceTask(3),

想使用hadoop終端機有辦法修改嗎?
或者是修改hadoop中的文件之類的參數?


hadoop jar -D mapred.reduce.tasks=10 hadoop-mapreduce-examples.jar wordcount input output

Reference: http://stackoverflow.com/questions/6885441/setting-the-number-of-map-tasks-and-reduce-tasks

要這樣用的前提是 main class 必須使用 GenericOptionsParser

代碼:
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs()


- Jazz

發表人:  poolikujm123 [ 2016-04-06, 14:45 ]
文章主題 :  Re: 關於hadoop setNumReduceTask問題

因為我是結合mahout的程序一起跑

我在終端機下的指令如下:
bin/mahout fpg -i /db/retail.dat -o patterns method mapreduce -s 3 -regex '[\]'

想問如何加指令設定setNumReduceTask的方式

發表人:  jazz [ 2016-04-09, 16:13 ]
文章主題 :  Re: 關於hadoop setNumReduceTask問題

poolikujm123 寫:
因為我是結合mahout的程序一起跑

我在終端機下的指令如下:
bin/mahout fpg -i /db/retail.dat -o patterns method mapreduce -s 3 -regex '[\]'

想問如何加指令設定setNumReduceTask的方式


這就要看 mahout 的 fpg 程式碼了~

- Jazz

發表人:  poolikujm123 [ 2016-04-11, 14:59 ]
文章主題 :  Re: 關於hadoop setNumReduceTask問題

jazz 寫:
poolikujm123 寫:
因為我是結合mahout的程序一起跑

我在終端機下的指令如下:
bin/mahout fpg -i /db/retail.dat -o patterns method mapreduce -s 3 -regex '[\]'

想問如何加指令設定setNumReduceTask的方式


這就要看 mahout 的 fpg 程式碼了~

- Jazz



我是參考下列來源:
http://grepcode.com/file/repo1.maven.or ... .java?av=f
可是我沒辦法在eclipse直接執行,好像要修改程式碼之類的,不知要如何能夠讓eclipse環境下直接執行
所以我後來有在終端機試過,因為fpg是mahout的example的例子
我的指令如下:
bin/hadoop jar /home/user/hadoop/mahout/mahout-examples-0.4-job.jar org.apache.mahout.fpm.pfgrowth.FPGrowthDriver -i db/retail.dat -o patterns -method mapreduce -s 3 regex '[\t]'

我有試著在裡面放入這行hadoop jar -D mapred.reduce.tasks=10,可是還是會出錯誤,所以還在研究直接修改程式碼在eclipse執行的步驟,這方面不知道在主程式要改什麼會比較快之類的

發表人:  jazz [ 2016-04-17, 16:05 ]
文章主題 :  Re: 關於hadoop setNumReduceTask問題

poolikujm123 寫:
我是參考下列來源:
http://grepcode.com/file/repo1.maven.or ... .java?av=f
可是我沒辦法在eclipse直接執行,好像要修改程式碼之類的,不知要如何能夠讓eclipse環境下直接執行
所以我後來有在終端機試過,因為fpg是mahout的example的例子
我的指令如下:
bin/hadoop jar /home/user/hadoop/mahout/mahout-examples-0.4-job.jar org.apache.mahout.fpm.pfgrowth.FPGrowthDriver -i db/retail.dat -o patterns -method mapreduce -s 3 regex '[\t]'

我有試著在裡面放入這行hadoop jar -D mapred.reduce.tasks=10,可是還是會出錯誤,所以還在研究直接修改程式碼在eclipse執行的步驟,這方面不知道在主程式要改什麼會比較快之類的


我不知道有沒有效,可以試著在主程式加入
代碼:
import org.apache.hadoop.util.GenericOptionsParser;


代碼:
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

細節還是需要花時間測試,不過一般想要直接透過指令改 Reducer 個數,必須透過 GenericOptionsParser 的協助。

- Jazz

發表人:  poolikujm123 [ 2016-04-18, 14:30 ]
文章主題 :  Re: 關於hadoop setNumReduceTask問題

感謝Jazz,我後來有試其他方法可以跑了感謝!!

1 頁 (共 1 頁) 所有顯示的時間為 UTC + 8 小時
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/