Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-30, 02:39

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : 請問關於Hadoop訊息傳遞的問題
文章發表於 : 2013-12-09, 17:12 
離線

註冊時間: 2013-12-09, 16:30
文章: 2
大家好,我最近開始接觸hadoop,想請問一下MapReduce 2.0 下的hadoop是否可以傳遞訊息。
情況大概是這樣,在cluster中,nodes現在在執行map的task,可是node A 需要node B map完的結果,
或是node可能需要彼此間的結果,想要請教在YARN的架構下是否可以傳遞彼此的訊息或結果(message passing)呢?

之前有爬文過這篇 viewtopic.php?f=7&t=36783&start=0 ,jazz大有解釋過解法,
我想請教如果是在hadoop 0.23 這種採用 MapReduce2.0 的版本下上述的問題解法是否有改變?
因為之前我google MapReduce 2.0 的時候有看到其他人做的ptt或網站上有提到資料共享,但是都只有提到沒有解釋,於是想要請教MRv2下是否可以支援上述的問題了呢? 還是說仍然需要上面連結那篇的方法才可行呢?

感謝各位的解惑~


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問關於Hadoop訊息傳遞的問題
文章發表於 : 2013-12-09, 21:11 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
LearnMore 寫:
大家好,我最近開始接觸hadoop,想請問一下MapReduce 2.0 下的hadoop是否可以傳遞訊息。
情況大概是這樣,在cluster中,nodes現在在執行map的task,可是node A 需要node B map完的結果,
或是node可能需要彼此間的結果,想要請教在YARN的架構下是否可以傳遞彼此的訊息或結果(message passing)呢?

之前有爬文過這篇 viewtopic.php?f=7&t=36783&start=0 ,jazz大有解釋過解法,
我想請教如果是在hadoop 0.23 這種採用 MapReduce2.0 的版本下上述的問題解法是否有改變?
因為之前我google MapReduce 2.0 的時候有看到其他人做的ptt或網站上有提到資料共享,但是都只有提到沒有解釋,於是想要請教MRv2下是否可以支援上述的問題了呢? 還是說仍然需要上面連結那篇的方法才可行呢?

感謝各位的解惑~


目前 YARN 架構如果想要做 Message Passing,也許可以看一下 YARN MPI 的作法。
https://github.com/clarkyzl/mpich2-yarn

說真的,不太確定是否是您要的解決方案。

因為 node A 要用到 node B 的結果,一般比較接近 MPI 的情境。(啟動節點數固定,節點之間要傳遞資料)
原始 MapReduce (MR1) 則傾向 Share Nothing (因為 Mapper Task 被啟動的順序並不一定,而且與有多少可用 Mapper Slot 有關)

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問關於Hadoop訊息傳遞的問題
文章發表於 : 2013-12-12, 14:50 
離線

註冊時間: 2013-12-09, 16:30
文章: 2
感謝JAZZ大的解答,我會再去看一下MPI,以前看過MPI還是很模糊。
之前我有看到說YARN不只能支援MapReduce,還能支援MPI,一開始我以為也是向MapReduce一樣是Programming Model,結果好像不太一樣。

我會在去看看這方面,再次感謝解答~


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問關於Hadoop訊息傳遞的問題
文章發表於 : 2013-12-13, 08:02 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
LearnMore 寫:
感謝JAZZ大的解答,我會再去看一下MPI,以前看過MPI還是很模糊。
之前我有看到說YARN不只能支援MapReduce,還能支援MPI,一開始我以為也是向MapReduce一樣是Programming Model,結果好像不太一樣。

我會在去看看這方面,再次感謝解答~


看一下 YARN 的介紹,也許會更清楚 :)
Ex. http://hortonworks.com/labs/yarn/
圖檔

MPI 算是 others 的部份

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作