Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-30, 03:17

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : 可否在hadoop上使用igraph的lib呢?
文章發表於 : 2013-09-03, 17:26 
離線

註冊時間: 2013-09-01, 23:34
文章: 6
大家好

我有個疑問想要在這裡請教大家

我最近需要寫的程式需要使用到igraph的lib
目前是支援R, python, C(我主要是用C在寫)

hadoop運算上可以直接用igraph的C lib嗎?該怎麼用?


最後謝謝大家不吝回答幫忙我!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 可否在hadoop上使用igraph的lib呢?
文章發表於 : 2013-09-03, 23:05 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
sophie 寫:
大家好
我有個疑問想要在這裡請教大家
我最近需要寫的程式需要使用到igraph的lib
目前是支援R, python, C(我主要是用C在寫)
hadoop運算上可以直接用igraph的C lib嗎?該怎麼用?
最後謝謝大家不吝回答幫忙我!


要看演算法。
如果演算法必須直接實作成 MapReduce ,並用 pipes 讀寫 HDFS 的內容,那就比較麻煩。
如果每個計算是各自獨立,改用 Hadoop Streaming 的話,影響就不大了。
因為每個 mapper 跟 reducer 的程式碼只要是您用 igraph 編譯好的執行檔即可。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 可否在hadoop上使用igraph的lib呢?
文章發表於 : 2013-09-20, 20:18 
離線

註冊時間: 2013-09-01, 23:34
文章: 6
我現在對要使用hadoop stream或是hadoop pipe感到困惑。
雖然我在hadoop技術手冊上看到他們使用上原理不太相同,但是卻不知道哪個使用下來比較好QQ

我的演算法是將一個大的資料,分別切成數等分讓node去map然後再把結果reduce起來寫入HDFS,每個node所要執行的內容都是一樣且獨立的(譬如將一個for loop 1~100, 切成四等分。每個node 各跑25次),依照jazz大所言,是hadoop stream比較好用嗎?
因為我在看hadoop技術手冊時,他提到C++是用pipe(我想用C++去修改現有的single node C++程式),所以我一開始就去研究pipe,反而沒有想過stream是否比較適當。

感謝回覆的大大~


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 可否在hadoop上使用igraph的lib呢?
文章發表於 : 2013-09-24, 00:51 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
sophie 寫:
我現在對要使用hadoop stream或是hadoop pipe感到困惑。
雖然我在hadoop技術手冊上看到他們使用上原理不太相同,但是卻不知道哪個使用下來比較好QQ

我的演算法是將一個大的資料,分別切成數等分讓node去map然後再把結果reduce起來寫入HDFS,每個node所要執行的內容都是一樣且獨立的(譬如將一個for loop 1~100, 切成四等分。每個node 各跑25次),依照jazz大所言,是hadoop stream比較好用嗎?
因為我在看hadoop技術手冊時,他提到C++是用pipe(我想用C++去修改現有的single node C++程式),所以我一開始就去研究pipe,反而沒有想過stream是否比較適當。

感謝回覆的大大~


我覺得兩者不衝突。應該可以拿 pipes 寫的 C++ 程式,當作 mapper , 然後用 hadoop streaming 執行。
當然我先前看過別人的作法是拿 Python 版本的 pipes 程式,搭配 hadoop streaming 跑。
這樣做有一些好處(Ex.減少資料搬運的次數,細節我得畫黑板,拿我寫的 bash 版本 hadoop streaming 範例做解釋)

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作