Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-30, 03:55

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : hadoop pipes如何讀多個檔案
文章發表於 : 2013-09-26, 23:39 
離線

註冊時間: 2013-09-01, 23:34
文章: 6
我知道map/reduce會有一個傳至HDFS的input檔案,然後最後會產生一個output file,但除此之外目前我的程式還想讀取input以外的檔案。
我在map func中要呼叫某個函式時,需要用到其他檔案來當參數傳入
請問我該怎麼寫呢??
我嘗試在map函式中用File *fp = fopen(filename,"r");
似乎是不行!!!有錯誤

請問我該怎麼辦??(苦惱)


謝謝~


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop pipes如何讀多個檔案
文章發表於 : 2013-09-27, 17:35 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
sophie 寫:
我知道map/reduce會有一個傳至HDFS的input檔案,然後最後會產生一個output file,但除此之外目前我的程式還想讀取input以外的檔案。
我在map func中要呼叫某個函式時,需要用到其他檔案來當參數傳入
請問我該怎麼寫呢??
我嘗試在map函式中用File *fp = fopen(filename,"r");
似乎是不行!!!有錯誤
請問我該怎麼辦??(苦惱)
謝謝~


一般會用 DistributedCache
http://hadoop.apache.org/docs/stable/mapred_tutorial.html#DistributedCache

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作