Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-25, 21:21

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : 請問如何設定hadoop 0.20.1 socks連線
文章發表於 : 2010-03-23, 21:59 
離線

註冊時間: 2010-03-02, 15:40
文章: 27
小弟希望將eclipse中設定socks的方法用在config檔中,因為畢竟用command比較快....

但我搜尋很多資料但還是設定不成功,大多說道需改
hadoop.rpc.socket.factory.class.default
hadoop.socks.server
hadoop.job.ugi

但我測試結果都直接連到HDFS...完全沒送到socks server,是否有前輩能教導一下如何設定


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問如何設定hadoop 0.20.1 socks連線
文章發表於 : 2010-03-24, 00:32 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
ctl1690 寫:
小弟希望將eclipse中設定socks的方法用在config檔中,因為畢竟用command比較快....

但我搜尋很多資料但還是設定不成功,大多說道需改
hadoop.rpc.socket.factory.class.default
hadoop.socks.server
hadoop.job.ugi

但我測試結果都直接連到HDFS...完全沒送到socks server,是否有前輩能教導一下如何設定


對我來說,最直觀的參數應該是 hadoop.socks.server
搜尋了一下,出現在 hadoop-0.20.2/src/core/core-default.xml
所以一種方法是修改 core-default.xml 的設定,然後重新用 ant build 出新的 hadoop-*.jar

另一種方式,不妨試試指令帶設定値的方法:

-D <property=value> use value for given property

例如:

代碼:
~/hadoop-0.20.2$ bin/hadoop fs -D hadoop.socks.server=$IP:$PORT -ls


- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問如何設定hadoop 0.20.1 socks連線
文章發表於 : 2010-03-24, 11:20 
離線

註冊時間: 2010-03-02, 15:40
文章: 27
jazz 寫:

另一種方式,不妨試試指令帶設定値的方法:

-D <property=value> use value for given property

例如:

代碼:
~/hadoop-0.20.2$ bin/hadoop fs -D hadoop.socks.server=$IP:$PORT -ls


- Jazz
[/quote]

發現問題了...
hadoop.socks.server 需和hadoop.rpc.socket.factory.class.default才會有作用

而我的問題在於hadoop.rpc.socket.factory.class.default 的default value org.apache.hadoop.net.StandardSocketFactory 有問題,應該設為org.apache.hadoop.net.SocksSocketFactory


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問如何設定hadoop 0.20.1 socks連線
文章發表於 : 2010-03-28, 14:10 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
ctl1690 寫:
發現問題了...
hadoop.socks.server 需和 hadoop.rpc.socket.factory.class.default 才會有作用
而我的問題在於 hadoop.rpc.socket.factory.class.default 的 default value org.apache.hadoop.net.StandardSocketFactory 有問題,應該設為 org.apache.hadoop.net.SocksSocketFactory


謝謝分享,您應該是想測試 Securing a Hadoop Cluster Through a Gateway 的做法吧?!

昨晚有看了一下步驟,雖然有點繁瑣,但確實是解決國網中心 Hadoop 實驗叢集不方便全部對外的好方法。
再來思考一下能不能讓初學者更方便透過 hadoop4win 把這個環境建好。

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 3 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作