Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-01, 15:40

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 3 篇文章 ] 
發表人 內容
 文章主題 : hadoop對於不同作業系統的資料傳遞請益
文章發表於 : 2015-01-20, 20:39 
離線

註冊時間: 2015-01-20, 17:54
文章: 3
各位前輩好,小弟是hadoop的新手有些瓶頸想請益

我已經用VM(ubuntu-14.04)建立好單機板的hadoop-1.2.1,wordcount也成功執行,之後想把這個VM當成master,
而slave打算用另一個打通好的平台,c++(visual studio 2013)和FPGA(ISE)透過ethernet做資料間的傳遞和加速,作業系統是win7。
小弟想請問對於這兩種不同的作業系統要怎麼直接丟JOB給slave,
因為在windows建hadoop的環境好像也是要灌cygwin的輔助環境,
還是說直接在ubuntu的環境下重新打通c++跟FPGA之間的溝通會比較容易。

還請各位大大給小弟一點指導的方向
謝謝各位撥冗閱讀


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop對於不同作業系統的資料傳遞請益
文章發表於 : 2015-01-24, 10:41 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
k12345679 寫:
各位前輩好,小弟是hadoop的新手有些瓶頸想請益

我已經用VM(ubuntu-14.04)建立好單機板的hadoop-1.2.1,wordcount也成功執行,之後想把這個VM當成master,
而slave打算用另一個打通好的平台,c++(visual studio 2013)和FPGA(ISE)透過ethernet做資料間的傳遞和加速,作業系統是win7。
小弟想請問對於這兩種不同的作業系統要怎麼直接丟JOB給slave,
因為在windows建hadoop的環境好像也是要灌cygwin的輔助環境,
還是說直接在ubuntu的環境下重新打通c++跟FPGA之間的溝通會比較容易。

還請各位大大給小弟一點指導的方向
謝謝各位撥冗閱讀


簡而言之,跨不同系統最好的方式是 RESTful ...
不受限於 Java 語言跟 library,也比較輕量化(lightweight)

如果單純只是想要存取 HDFS 的資料,可以透過 WebHDFS 的 RESTful API
http://hadoop.apache.org/docs/r1.2.1/webhdfs.html

若要丟 Job 就有點麻煩了, 在 1.x 的版本還沒有 RESTful API for JobTracker
只有看到有人分享過一些替代方案:
http://www.tinycat.co.uk/blog/2013/07/16/hadoop-jobtracker-rest-interface
https://github.com/forward3d/hadoop-jobtracker-rest
必須要 2.x 的版本才有 RESTful API for ResourceManager (YARN)
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.html

For Your Reference.

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop對於不同作業系統的資料傳遞請益
文章發表於 : 2015-01-31, 01:48 
離線

註冊時間: 2015-01-20, 17:54
文章: 3
非常感謝Jazz大回覆
我在摸索看看

謝謝


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 3 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作