Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-28, 04:31

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 3 篇文章 ] 
發表人 內容
 文章主題 : mapReduce要餵input是否可以指定多重檔案到一個map
文章發表於 : 2014-01-02, 22:53 
離線

註冊時間: 2013-10-15, 21:01
文章: 50
請問今天我希望每個map吃到的input能讀到三個檔案以上,因為預設是文件上的每一行值當作一個map輸入
假設我希望今天input資料是資料夾:
input=資料夾A-資料夾B-資料夾C
資料夾..-資料夾..-資料夾..
資料夾..-資料夾..-資料夾..
資料夾..-資料夾..-資料夾..
資料夾..-資料夾..-資料夾..
資料夾..-資料夾..-資料夾..

map階段:
Map1:資料夾A-資料夾B-資料夾C
Map2:資料夾..-資料夾..-資料夾..
Map3:資料夾..-資料夾..-資料夾..
Map4:資料夾..-資料夾..-資料夾..
Map5:資料夾..-資料夾..-資料夾..
Map6:資料夾..-資料夾..-資料夾..

我希望每個map能拿到三個以上的資料夾或是讀三個以上的文件都在同一個map,這樣有可能嗎??
或是可以在一個文件中的每一行,輸入三個以上的檔案位置(能在文件中輸入檔案位置,map吃到這個文件會根據裡面的路徑去尋找文件嗎??)

請問可以控制多重檔案夾或文件到每個map裡面嗎??
請問可以控制map得key,value得key值嗎!?因為我也想利用map上的key當作一個資料來用,有可能嗎??
問題有點雜,麻煩懂得大大門教小弟一下..感謝!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: mapReduce要餵input是否可以指定多重檔案到一個map
文章發表於 : 2014-01-04, 00:25 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
感覺上要自訂 InputFormat 才有辦法辦到。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: mapReduce要餵input是否可以指定多重檔案到一個map
文章發表於 : 2014-01-08, 00:43 
離線

註冊時間: 2013-10-15, 21:01
文章: 50
jazz 寫:
感覺上要自訂 InputFormat 才有辦法辦到。

- Jazz

thx,我再研究看看。


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 3 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作