Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-30, 03:32

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : hadoop複雜圖像數據處理問題
文章發表於 : 2013-12-15, 22:13 
離線

註冊時間: 2013-08-28, 23:08
文章: 11

如上圖所示,我想對圖片做一些複雜的處理,這些處理之中的一些步驟(例如job1和job2分別代表不同的處理步驟)可以並行運行,但是最後需要綜合job1和job2這兩個步驟所得的數據,綜合處理后再reduce。job1和job2分別採用chainmapper的方法進行處理,job3和job1、job2的關係是addDependingJob,那麼job3的map任務可不可以同時接受job1和job2的mapper任務輸出的key和value?求教,謝謝各位大大


附加檔案:
绘图1.jpg
绘图1.jpg [ 24.09 KiB | 被瀏覽 4236 次 ]
回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop複雜圖像數據處理問題
文章發表於 : 2013-12-16, 10:41 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
聽起來有點像 workflow 的問題,可是圖中又寫 map1, map2, 不確定是否儘牽涉到 mapper-only job
建議往兩個方向去找答案:
1. ChainMapper - http://hadoop.apache.org/docs/stable/api/org/apache/hadoop/mapred/lib/ChainMapper.html
2. Oozie - http://oozie.apache.org/

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop複雜圖像數據處理問題
文章發表於 : 2013-12-16, 17:52 
離線

註冊時間: 2013-08-28, 23:08
文章: 11
jazz 寫:
聽起來有點像 workflow 的問題,可是圖中又寫 map1, map2, 不確定是否儘牽涉到 mapper-only job
建議往兩個方向去找答案:
1. ChainMapper - http://hadoop.apache.org/docs/stable/api/org/apache/hadoop/mapred/lib/ChainMapper.html
2. Oozie - http://oozie.apache.org/

- Jazz

可能我沒有說清楚,我的需要是:要對一張圖片進行處理,整個處理過程分為好幾個步驟,其中的前幾個步驟可以並行,最後一步需要對前幾部的數據進行綜合處理;所以我的想法是:可不可以把前幾步分別作為job1和job2來運行,最後一步作為job3來運行。job1和job2之間相互獨立,互不干擾,job3依賴於job1和job2,那麼job3如何接受來自job1和job2的數據?也就是job1和job2如何把數據傳遞給job3?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop複雜圖像數據處理問題
文章發表於 : 2013-12-18, 10:05 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
zzuliszhen 寫:
可能我沒有說清楚,我的需要是:要對一張圖片進行處理,整個處理過程分為好幾個步驟,其中的前幾個步驟可以並行,最後一步需要對前幾部的數據進行綜合處理;所以我的想法是:可不可以把前幾步分別作為job1和job2來運行,最後一步作為job3來運行。job1和job2之間相互獨立,互不干擾,job3依賴於job1和job2,那麼job3如何接受來自job1和job2的數據?也就是job1和job2如何把數據傳遞給job3?


Oozie 可能是您需要的。

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作