Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-02, 12:33

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : 請問如何控制 MapReduce 的輸出檔名
文章發表於 : 2013-10-10, 22:39 
離線

註冊時間: 2013-06-09, 22:45
文章: 7
一般MapReduce輸出檔名都為 part-r-00000 這種格式
請問如何將執行時的參數放到 輸出檔名中

如:hadoop jar TestProgram.jar "ABC"
=>輸出檔名 "ABC-part-r-00000", "ABC-part-r-00001", "ABC-part-r-00002",...,

先行致謝!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問如何控制 MapReduce 的輸出檔名
文章發表於 : 2013-10-10, 23:15 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
jdwang 寫:
一般MapReduce輸出檔名都為 part-r-00000 這種格式
請問如何將執行時的參數放到 輸出檔名中
如:hadoop jar TestProgram.jar "ABC"
=>輸出檔名 "ABC-part-r-00000", "ABC-part-r-00001", "ABC-part-r-00002",...,
先行致謝!


網路上有提到可以用 MultipleOutputFormat 的 generateLeafFileName(String name) 來指定輸出檔名。
http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/lib/MultipleOutputFormat.html

或許可以參考 http://www.infoq.com/articles/HadoopOutputFormat

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作