Taiwan Hadoop Forum

你好~
我想請問一下，在hadoop中的執行，只能透過bin/hadoop jar 來執行我的程式嗎??
因為我想做一個web版的，在servlet中執行hadoop的MapReduce，不知道該如何做?
或是我自已的程式，可以去執行hadoop的MapReduce?

感謝!!

這個問題我們 2009 年有研究過，由於不熟 JSP，所以並沒有一個結論出來。
只知道 Hadoop 用的 Application Server 是 Jetty 不是 Tomcat 或 JBoss。
我曾問過 2007 年邀請的講者 Devaraj Das （他也是 Hadoop Developer）
如何把一個 Servlet 或 JSP 放到 Hadoop 的 WebApp 裡，
他給我的答案是「當初 Hadoop 設計並沒有這樣的想法，所以不建議這樣做。」

目前我們的經驗是 Hadoop 僅合適用在批次作業（Batch），
所以一個替代方法是讓 Servlet 去跑 Runtime.exec() 呼叫 system command.

PS. 這是我今天稍早看到的一篇 Hadoop 與 Sevlet 整合的討論，
　　看起來也許要看一下 Thrift。
http://stackoverflow.com/questions/1970 ... -of-hadoop

感謝jazz大大的回覆~
那我大致知道了
不過~ Jetty 對它不熟…
我就直接請教幾個問題…
1. Jetty 有辦法建立Web service?
2. Jetty 有辦法呼叫外部的Web service?
3. 如果1.跟2.都不行~那只能使用tomcat等，與hadoop結合?
4. 如果可以，那有哪些文件或網站可以參考的?
另外，在HDFS上，應該可以不用透過指令方法來上傳、下載檔案了吧!
裡面的API應該可以直接到handle這些功能了?

在Runtime.exec()中，有辦法得知目前跑多少了嗎?

感謝!!

1. 純跑 Jetty 我試過寫一小段 JSP 範例程式是可以跑的
2. 抱歉我不是 JSP 專家，不懂怎樣叫做外部的 Web Service，Mashup?? AJAX?? 呼叫 J2EE Java Bean ... 不懂
3.4. 使用 Tomcat 跟 Hadoop 整合的最佳範例，請參考 Nutch 原始碼....100% Hadoop 作者原著精華!!
5. API 可以產生檔案，但如果你要上傳、下載檔案，目前我看到的都還是透過指令。這涉及 Linux 檔案系統的權限.....
6. 執行多少?? 類似 wordcount 的百分比?? 從 hadoop:50030 看是一種做法；把輸出送到檔案，從檔案判斷是一種做法；使用其他 Message Interface 建立 socket 都是方法，端看你想看百分比的目的是????

- Jazz