Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-03, 20:08

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : 如何利用hadoop執行c#的程式
文章發表於 : 2013-11-05, 21:30 
離線

註冊時間: 2013-11-05, 20:37
文章: 1
各位前輩好~
小弟目前是hadoo新手,有在論壇爬過一些文、看過一些相關的教學書籍

我現在的問題是這樣 :

我有幾支 用c#寫的程式(影像輪廓分析的程式)
(這些程式是有圖像介面的,輸入的檔案可以是.csv 或是dicom)


因為老闆接下來想將這個程式變成網頁版使用

並同時利用hadoop進行平行運算(希望能夠降低運算時間)

我現在灌了一台ubuntu的電腦 安裝好hadoop1.2.1 eclipse
(因為從未接觸過linux系統 這部分花了一段時間)

完成了單機版的worldcount

1.對於要如何讓hadoop能夠run c#的程式這部分不是很清楚
老闆的想法是 將hadoop灌在window上 讓window的當tasktracker
但是目前好像大部份都是使用linux環境下執行hadoop居多
所以請教一下各位前輩,可以給我一點建議嗎? 現在沒什麼方向

2.就我對hadoop的平行運算的概念,是建立在mapreduce上 每次map任務執行完 產生<key,value>,再由reduce任務合併起來
如果我想要將30張圖分給三個tasktracker做,我是不是得去改寫原本c#的程式中的演算法,讓他產生符合mapreduce標準格式的輸入/輸出

謝謝各位前輩看完,任何建議都可以!! 感謝!!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 如何利用hadoop執行c#的程式
文章發表於 : 2013-11-12, 16:37 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
argongroup 寫:
1.對於要如何讓hadoop能夠run c#的程式這部分不是很清楚
老闆的想法是 將hadoop灌在window上 讓window的當tasktracker
但是目前好像大部份都是使用linux環境下執行hadoop居多
所以請教一下各位前輩,可以給我一點建議嗎? 現在沒什麼方向

2.就我對hadoop的平行運算的概念,是建立在mapreduce上 每次map任務執行完 產生<key,value>,再由reduce任務合併起來
如果我想要將30張圖分給三個tasktracker做,我是不是得去改寫原本c#的程式中的演算法,讓他產生符合mapreduce標準格式的輸入/輸出

謝謝各位前輩看完,任何建議都可以!! 感謝!!


1. 要看 C# 程式能否在 Linux 下用 Mono 執行。有時候比較擔心的是一些函式庫相依的問題,那就只好跑在 Windows 平台上。
2. Hadoop 要跑在 Windows 平台上,可以參考 HDP for Windows 比較穩定
3. Hadoop 要跑 C# 程式,建議採用 Hadoop Streaming 的方式執行,我有設計一個範例,若看得懂,應該就沒問題。也順道回覆您的第二個問題,您可以寫一個 Script 把 C# 所需的資料 Input 目錄、檔名當作 STDIN,讀入,然後由 Script 去執行該 C# 執行檔。STDOUT 則是一些簡單的 Message 輸出。STDERR 則用來作 MapReduce 進度回報用(不然 C# 執行超過 10 分鐘會被強制砍掉程序)。

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作