Taiwan Hadoop Forum

大家好，我最近開始接觸hadoop，想請問一下MapReduce 2.0 下的hadoop是否可以傳遞訊息。
情況大概是這樣，在cluster中，nodes現在在執行map的task，可是node A 需要node B map完的結果，
或是node可能需要彼此間的結果，想要請教在YARN的架構下是否可以傳遞彼此的訊息或結果(message passing)呢?

之前有爬文過這篇 viewtopic.php?f=7&t=36783&start=0 ，jazz大有解釋過解法，
我想請教如果是在hadoop 0.23 這種採用 MapReduce2.0 的版本下上述的問題解法是否有改變?
因為之前我google MapReduce 2.0 的時候有看到其他人做的ptt或網站上有提到資料共享，但是都只有提到沒有解釋，於是想要請教MRv2下是否可以支援上述的問題了呢? 還是說仍然需要上面連結那篇的方法才可行呢?

感謝各位的解惑~

目前 YARN 架構如果想要做 Message Passing，也許可以看一下 YARN MPI 的作法。
https://github.com/clarkyzl/mpich2-yarn

說真的，不太確定是否是您要的解決方案。

因為 node A 要用到 node B 的結果，一般比較接近 MPI 的情境。(啟動節點數固定，節點之間要傳遞資料)
原始 MapReduce (MR1) 則傾向 Share Nothing (因為 Mapper Task 被啟動的順序並不一定，而且與有多少可用 Mapper Slot 有關)

- Jazz

感謝JAZZ大的解答，我會再去看一下MPI，以前看過MPI還是很模糊。
之前我有看到說YARN不只能支援MapReduce，還能支援MPI，一開始我以為也是向MapReduce一樣是Programming Model，結果好像不太一樣。

我會在去看看這方面，再次感謝解答~

看一下 YARN 的介紹，也許會更清楚
Ex. http://hortonworks.com/labs/yarn/


MPI 算是 others 的部份

- Jazz