Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-26, 11:07

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : hadoop的執行方法
文章發表於 : 2010-01-06, 10:36 
離線

註冊時間: 2010-01-06, 10:31
文章: 4
你好~
我想請問一下,在hadoop中的執行,只能透過bin/hadoop jar 來執行我的程式嗎??
因為我想做一個web版的,在servlet中執行hadoop的MapReduce,不知道該如何做?
或是我自已的程式,可以去執行hadoop的MapReduce?

感謝!!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop的執行方法
文章發表於 : 2010-01-06, 17:03 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
Ken_Wu 寫:
你好~
我想請問一下,在hadoop中的執行,只能透過bin/hadoop jar 來執行我的程式嗎??
因為我想做一個web版的,在servlet中執行hadoop的MapReduce,不知道該如何做?
或是我自已的程式,可以去執行hadoop的MapReduce?
感謝!!


這個問題我們 2009 年有研究過,由於不熟 JSP,所以並沒有一個結論出來。
只知道 Hadoop 用的 Application Server 是 Jetty 不是 Tomcat 或 JBoss。
我曾問過 2007 年邀請的講者 Devaraj Das (他也是 Hadoop Developer)
如何把一個 Servlet 或 JSP 放到 Hadoop 的 WebApp 裡,
他給我的答案是「當初 Hadoop 設計並沒有這樣的想法,所以不建議這樣做。」

目前我們的經驗是 Hadoop 僅合適用在批次作業(Batch),
所以一個替代方法是讓 Servlet 去跑 Runtime.exec() 呼叫 system command.

PS. 這是我今天稍早看到的一篇 Hadoop 與 Sevlet 整合的討論,
  看起來也許要看一下 Thrift。
http://stackoverflow.com/questions/1970 ... -of-hadoop


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop的執行方法
文章發表於 : 2010-01-06, 17:20 
離線

註冊時間: 2010-01-06, 10:31
文章: 4
jazz 寫:
這個問題我們 2009 年有研究過,由於不熟 JSP,所以並沒有一個結論出來。
只知道 Hadoop 用的 Application Server 是 Jetty 不是 Tomcat 或 JBoss。
我曾問過 2007 年邀請的講者 Devaraj Das (他也是 Hadoop Developer)
如何把一個 Servlet 或 JSP 放到 Hadoop 的 WebApp 裡,
他給我的答案是「當初 Hadoop 設計並沒有這樣的想法,所以不建議這樣做。」

目前我們的經驗是 Hadoop 僅合適用在批次作業(Batch),
所以一個替代方法是讓 Servlet 去跑 Runtime.exec() 呼叫 system command.

PS. 這是我今天稍早看到的一篇 Hadoop 與 Sevlet 整合的討論,
  看起來也許要看一下 Thrift。
http://stackoverflow.com/questions/1970 ... -of-hadoop


感謝jazz大大的回覆~
那我大致知道了
不過~ Jetty 對它不熟…
我就直接請教幾個問題…
1. Jetty 有辦法建立Web service?
2. Jetty 有辦法呼叫外部的Web service?
3. 如果1.跟2.都不行~那只能使用tomcat等,與hadoop結合?
4. 如果可以,那有哪些文件或網站可以參考的?
另外,在HDFS上,應該可以不用透過指令方法來上傳、下載檔案了吧!
裡面的API應該可以直接到handle這些功能了?

在Runtime.exec()中,有辦法得知目前跑多少了嗎?

感謝!!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop的執行方法
文章發表於 : 2010-01-08, 23:00 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
Ken_Wu 寫:
感謝jazz大大的回覆~
那我大致知道了
不過~ Jetty 對它不熟…
我就直接請教幾個問題…
1. Jetty 有辦法建立Web service?
2. Jetty 有辦法呼叫外部的Web service?
3. 如果1.跟2.都不行~那只能使用tomcat等,與hadoop結合?
4. 如果可以,那有哪些文件或網站可以參考的?
另外,在HDFS上,應該可以不用透過指令方法來上傳、下載檔案了吧!
裡面的API應該可以直接到handle這些功能了?

在Runtime.exec()中,有辦法得知目前跑多少了嗎?

感謝!!


1. 純跑 Jetty 我試過寫一小段 JSP 範例程式是可以跑的
2. 抱歉我不是 JSP 專家,不懂怎樣叫做外部的 Web Service,Mashup?? AJAX?? 呼叫 J2EE Java Bean ... 不懂 :(
3.4. 使用 Tomcat 跟 Hadoop 整合的最佳範例,請參考 Nutch 原始碼....100% Hadoop 作者原著精華!!
5. API 可以產生檔案,但如果你要上傳、下載檔案,目前我看到的都還是透過指令。這涉及 Linux 檔案系統的權限.....
6. 執行多少?? 類似 wordcount 的百分比?? 從 hadoop:50030 看是一種做法;把輸出送到檔案,從檔案判斷是一種做法;使用其他 Message Interface 建立 socket 都是方法,端看你想看百分比的目的是????

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作