Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2020-01-20, 11:49

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 1 篇文章 ] 
發表人 內容
 文章主題 : 請教key分配到reducer上的問題
文章發表於 : 2012-02-21, 05:21 
離線

註冊時間: 2012-02-21, 04:48
文章: 3
想請問一個問題

我的程式需要每個key單獨對應到一個reducer上才能執行正確
所以在map輸出的key我給予0,1,2....
streaming的參數加上
-jobconf num.key.fields.for.partition=1
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner

執行的時候也會調整reduce task的數量為key的數量(在執行前已知)
我的想法是這樣就可達到我的需求,但實際跑卻無法
ex:執行一個15個key的job時,發現key4~8會分別和key10~14對應到同一個reducer上
不知道要如何才能達到我的需求呢?
感謝


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 1 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作