Taiwan Hadoop Forum

小弟希望將eclipse中設定socks的方法用在config檔中,因為畢竟用command比較快....

但我搜尋很多資料但還是設定不成功,大多說道需改
hadoop.rpc.socket.factory.class.default
hadoop.socks.server
hadoop.job.ugi

但我測試結果都直接連到HDFS...完全沒送到socks server,是否有前輩能教導一下如何設定

對我來說，最直觀的參數應該是 hadoop.socks.server
搜尋了一下，出現在 hadoop-0.20.2/src/core/core-default.xml
所以一種方法是修改 core-default.xml 的設定，然後重新用 ant build 出新的 hadoop-*.jar

另一種方式，不妨試試指令帶設定値的方法：

-D <property=value> use value for given property

例如：



- Jazz

[/quote]

發現問題了...
hadoop.socks.server 需和hadoop.rpc.socket.factory.class.default才會有作用

而我的問題在於hadoop.rpc.socket.factory.class.default 的default value org.apache.hadoop.net.StandardSocketFactory 有問題,應該設為org.apache.hadoop.net.SocksSocketFactory

謝謝分享，您應該是想測試 Securing a Hadoop Cluster Through a Gateway 的做法吧?!

昨晚有看了一下步驟，雖然有點繁瑣，但確實是解決國網中心 Hadoop 實驗叢集不方便全部對外的好方法。
再來思考一下能不能讓初學者更方便透過 hadoop4win 把這個環境建好。

- Jazz