k12345679 寫:
各位前輩好,小弟是hadoop的新手有些瓶頸想請益
我已經用VM(ubuntu-14.04)建立好單機板的hadoop-1.2.1,wordcount也成功執行,之後想把這個VM當成master,
而slave打算用另一個打通好的平台,c++(visual studio 2013)和FPGA(ISE)透過ethernet做資料間的傳遞和加速,作業系統是win7。
小弟想請問對於這兩種不同的作業系統要怎麼直接丟JOB給slave,
因為在windows建hadoop的環境好像也是要灌cygwin的輔助環境,
還是說直接在ubuntu的環境下重新打通c++跟FPGA之間的溝通會比較容易。
還請各位大大給小弟一點指導的方向
謝謝各位撥冗閱讀
簡而言之,跨不同系統最好的方式是 RESTful ...
不受限於 Java 語言跟 library,也比較輕量化(lightweight)
如果單純只是想要存取 HDFS 的資料,可以透過 WebHDFS 的 RESTful API
http://hadoop.apache.org/docs/r1.2.1/webhdfs.html若要丟 Job 就有點麻煩了, 在 1.x 的版本還沒有 RESTful API for JobTracker
只有看到有人分享過一些替代方案:
http://www.tinycat.co.uk/blog/2013/07/16/hadoop-jobtracker-rest-interfacehttps://github.com/forward3d/hadoop-jobtracker-rest必須要 2.x 的版本才有 RESTful API for ResourceManager (YARN)
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.htmlFor Your Reference.
- Jazz