Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2018-07-18, 01:31

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 7 篇文章 ] 
發表人 內容
 文章主題 : 關於hadoop setNumReduceTask問題
文章發表於 : 2016-04-05, 17:59 
離線

註冊時間: 2016-03-22, 20:38
文章: 9
我用三台虛擬機跑hadoop,
想讓reducer 分成三個
如果不透過eclipse程式進行編輯,
設定job.setNumReduceTask(3),

想使用hadoop終端機有辦法修改嗎?
或者是修改hadoop中的文件之類的參數?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於hadoop setNumReduceTask問題
文章發表於 : 2016-04-06, 08:06 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
poolikujm123 寫:
我用三台虛擬機跑hadoop,
想讓reducer 分成三個
如果不透過eclipse程式進行編輯,
設定job.setNumReduceTask(3),

想使用hadoop終端機有辦法修改嗎?
或者是修改hadoop中的文件之類的參數?


hadoop jar -D mapred.reduce.tasks=10 hadoop-mapreduce-examples.jar wordcount input output

Reference: http://stackoverflow.com/questions/6885441/setting-the-number-of-map-tasks-and-reduce-tasks

要這樣用的前提是 main class 必須使用 GenericOptionsParser

代碼:
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs()


- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於hadoop setNumReduceTask問題
文章發表於 : 2016-04-06, 14:45 
離線

註冊時間: 2016-03-22, 20:38
文章: 9
因為我是結合mahout的程序一起跑

我在終端機下的指令如下:
bin/mahout fpg -i /db/retail.dat -o patterns method mapreduce -s 3 -regex '[\]'

想問如何加指令設定setNumReduceTask的方式


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於hadoop setNumReduceTask問題
文章發表於 : 2016-04-09, 16:13 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
poolikujm123 寫:
因為我是結合mahout的程序一起跑

我在終端機下的指令如下:
bin/mahout fpg -i /db/retail.dat -o patterns method mapreduce -s 3 -regex '[\]'

想問如何加指令設定setNumReduceTask的方式


這就要看 mahout 的 fpg 程式碼了~

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於hadoop setNumReduceTask問題
文章發表於 : 2016-04-11, 14:59 
離線

註冊時間: 2016-03-22, 20:38
文章: 9
jazz 寫:
poolikujm123 寫:
因為我是結合mahout的程序一起跑

我在終端機下的指令如下:
bin/mahout fpg -i /db/retail.dat -o patterns method mapreduce -s 3 -regex '[\]'

想問如何加指令設定setNumReduceTask的方式


這就要看 mahout 的 fpg 程式碼了~

- Jazz



我是參考下列來源:
http://grepcode.com/file/repo1.maven.or ... .java?av=f
可是我沒辦法在eclipse直接執行,好像要修改程式碼之類的,不知要如何能夠讓eclipse環境下直接執行
所以我後來有在終端機試過,因為fpg是mahout的example的例子
我的指令如下:
bin/hadoop jar /home/user/hadoop/mahout/mahout-examples-0.4-job.jar org.apache.mahout.fpm.pfgrowth.FPGrowthDriver -i db/retail.dat -o patterns -method mapreduce -s 3 regex '[\t]'

我有試著在裡面放入這行hadoop jar -D mapred.reduce.tasks=10,可是還是會出錯誤,所以還在研究直接修改程式碼在eclipse執行的步驟,這方面不知道在主程式要改什麼會比較快之類的


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於hadoop setNumReduceTask問題
文章發表於 : 2016-04-17, 16:05 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
poolikujm123 寫:
我是參考下列來源:
http://grepcode.com/file/repo1.maven.or ... .java?av=f
可是我沒辦法在eclipse直接執行,好像要修改程式碼之類的,不知要如何能夠讓eclipse環境下直接執行
所以我後來有在終端機試過,因為fpg是mahout的example的例子
我的指令如下:
bin/hadoop jar /home/user/hadoop/mahout/mahout-examples-0.4-job.jar org.apache.mahout.fpm.pfgrowth.FPGrowthDriver -i db/retail.dat -o patterns -method mapreduce -s 3 regex '[\t]'

我有試著在裡面放入這行hadoop jar -D mapred.reduce.tasks=10,可是還是會出錯誤,所以還在研究直接修改程式碼在eclipse執行的步驟,這方面不知道在主程式要改什麼會比較快之類的


我不知道有沒有效,可以試著在主程式加入
代碼:
import org.apache.hadoop.util.GenericOptionsParser;


代碼:
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

細節還是需要花時間測試,不過一般想要直接透過指令改 Reducer 個數,必須透過 GenericOptionsParser 的協助。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於hadoop setNumReduceTask問題
文章發表於 : 2016-04-18, 14:30 
離線

註冊時間: 2016-03-22, 20:38
文章: 9
感謝Jazz,我後來有試其他方法可以跑了感謝!!


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 7 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作