關於hadoop setNumReduceTask問題

poolikujm123 · **註冊時間:** 2016-03-22, 20:38 **文章:** 9

我用三台虛擬機跑hadoop,
想讓reducer 分成三個
如果不透過eclipse程式進行編輯,
設定job.setNumReduceTask(3),

想使用hadoop終端機有辦法修改嗎?
或者是修改hadoop中的文件之類的參數?

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

poolikujm123 寫:

我用三台虛擬機跑hadoop,
想讓reducer 分成三個
如果不透過eclipse程式進行編輯,
設定job.setNumReduceTask(3),

想使用hadoop終端機有辦法修改嗎?
或者是修改hadoop中的文件之類的參數?

hadoop jar -D mapred.reduce.tasks=10 hadoop-mapreduce-examples.jar wordcount input output

Reference: http://stackoverflow.com/questions/6885441/setting-the-number-of-map-tasks-and-reduce-tasks

要這樣用的前提是 main class 必須使用 GenericOptionsParser

代碼:

import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs()

- Jazz

poolikujm123 · **註冊時間:** 2016-03-22, 20:38 **文章:** 9

因為我是結合mahout的程序一起跑

我在終端機下的指令如下:
bin/mahout fpg -i /db/retail.dat -o patterns method mapreduce -s 3 -regex '[\]'

想問如何加指令設定setNumReduceTask的方式

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

poolikujm123 寫:

因為我是結合mahout的程序一起跑

我在終端機下的指令如下:
bin/mahout fpg -i /db/retail.dat -o patterns method mapreduce -s 3 -regex '[\]'

想問如何加指令設定setNumReduceTask的方式

這就要看 mahout 的 fpg 程式碼了～

- Jazz

poolikujm123 · **註冊時間:** 2016-03-22, 20:38 **文章:** 9

jazz 寫:

poolikujm123 寫:

因為我是結合mahout的程序一起跑

我在終端機下的指令如下:
bin/mahout fpg -i /db/retail.dat -o patterns method mapreduce -s 3 -regex '[\]'

想問如何加指令設定setNumReduceTask的方式

這就要看 mahout 的 fpg 程式碼了～

- Jazz

我是參考下列來源:
http://grepcode.com/file/repo1.maven.or ... .java?av=f
可是我沒辦法在eclipse直接執行,好像要修改程式碼之類的,不知要如何能夠讓eclipse環境下直接執行
所以我後來有在終端機試過,因為fpg是mahout的example的例子
我的指令如下:
bin/hadoop jar /home/user/hadoop/mahout/mahout-examples-0.4-job.jar org.apache.mahout.fpm.pfgrowth.FPGrowthDriver -i db/retail.dat -o patterns -method mapreduce -s 3 regex '[\t]'

我有試著在裡面放入這行hadoop jar -D mapred.reduce.tasks=10,可是還是會出錯誤,所以還在研究直接修改程式碼在eclipse執行的步驟,這方面不知道在主程式要改什麼會比較快之類的

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

poolikujm123 寫:

我是參考下列來源:
http://grepcode.com/file/repo1.maven.or ... .java?av=f
可是我沒辦法在eclipse直接執行,好像要修改程式碼之類的,不知要如何能夠讓eclipse環境下直接執行
所以我後來有在終端機試過,因為fpg是mahout的example的例子
我的指令如下:
bin/hadoop jar /home/user/hadoop/mahout/mahout-examples-0.4-job.jar org.apache.mahout.fpm.pfgrowth.FPGrowthDriver -i db/retail.dat -o patterns -method mapreduce -s 3 regex '[\t]'

我有試著在裡面放入這行hadoop jar -D mapred.reduce.tasks=10,可是還是會出錯誤,所以還在研究直接修改程式碼在eclipse執行的步驟,這方面不知道在主程式要改什麼會比較快之類的

我不知道有沒有效，可以試著在主程式加入

代碼:

import org.apache.hadoop.util.GenericOptionsParser;

跟

代碼:

String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

細節還是需要花時間測試，不過一般想要直接透過指令改 Reducer 個數，必須透過 GenericOptionsParser 的協助。

- Jazz

poolikujm123 · **註冊時間:** 2016-03-22, 20:38 **文章:** 9

感謝Jazz,我後來有試其他方法可以跑了感謝!!

Taiwan Hadoop Forum

關於hadoop setNumReduceTask問題

誰在線上