Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-05-29, 10:53

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : 如何在MapReduce中調用第三方的web服務
文章發表於 : 2013-06-03, 10:44 
離線

註冊時間: 2013-06-03, 10:40
文章: 1
如題,例如在一個map()函數中調用已經發佈的web服務,能否給我看個簡單的示例,萬分感謝


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 如何在MapReduce中調用第三方的web服務
文章發表於 : 2013-06-03, 16:48 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
cherry728 寫:
如題,例如在一個map()函數中調用已經發佈的web服務,能否給我看個簡單的示例,萬分感謝


「調用」的意思是?發起一個 GET 去存取某個 RESTful 網址?
我覺得用 hadoop streaming 搭配 curl 應該就可以做到一些事情吧。
把底下的 urls 內容換成 http://your_service/?a=AAAAA&b=BBBBBBB 也就是用 curl 去做 RESTful web service 的調用。

代碼:
h998@hadoop:~$ cat urls
http://tw.yahoo.com
http://forum.hadoop.tw
h998@hadoop:~$ hadoop fs -put urls .
h998@hadoop:~$ cat mapper.sh
#!/bin/bash
while read LINE; do
   curl ${LINE}    # do something with it here
done
h998@hadoop:~$ chmod a+x mapper.sh
h998@hadoop:~$ hadoop jar hadoop-streaming.jar -input urls -output results -mapper mapper.sh -numReduceTasks 0 -file mapper.sh
h998@hadoop:~$ hadoop fs -lsr /user/h998/results
-rw-r--r--   2 h998 supergroup      15952 2013-06-03 16:50 /user/h998/results/part-00000
-rw-r--r--   2 h998 supergroup     305802 2013-06-03 16:50 /user/h998/results/part-00001
h998@hadoop:~$ hadoop fs -cat /user/h998/results/part-00000
h998@hadoop:~$ hadoop fs -cat /user/h998/results/part-00001


上面 part-00000 跟 part-00001 分別是 forum.hadoop.tw 跟 tw.yahoo.com 的 HTML 原始碼。

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作