Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-01, 16:14

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : 求助:關於MapReduce任務運行的一些問題?
文章發表於 : 2014-04-26, 18:21 
離線

註冊時間: 2013-08-28, 23:08
文章: 11
因為工作原因需要為每個圖像文件創建一個MapReduce任務,但是眾所周知Hadoop任務的創建時間較長,時效性不夠好,效率上可能無法滿足要求,所以我想是不是可以設定每個map任務永久駐留在內存中,將圖像上傳至固定的文件夾內,而map任務從固定的文件夾內讀取待處理圖像?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 求助:關於MapReduce任務運行的一些問題?
文章發表於 : 2014-04-27, 22:06 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
zzuliszhen 寫:
因為工作原因需要為每個圖像文件創建一個MapReduce任務,但是眾所周知Hadoop任務的創建時間較長,時效性不夠好,效率上可能無法滿足要求,所以我想是不是可以設定每個map任務永久駐留在內存中,將圖像上傳至固定的文件夾內,而map任務從固定的文件夾內讀取待處理圖像?


我確實聽過有人這麼做過,但效果很差。
其次,這種作法與原本的 JobTracker / TaskTracker 設計理念相違背。
建議改以 Storm 這類技術來處理。

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作