Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-26, 01:10

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 3 篇文章 ] 
發表人 內容
 文章主題 : 可以ssh, 但抓不到slaves, 連不到另外一台VMware上
文章發表於 : 2013-10-02, 23:21 
離線

註冊時間: 2013-10-02, 22:52
文章: 2
以前實作到在兩台電腦, 使用實體IP可以成功建立hadoop
    node1: namenode, datanode, jobtracker tasktracker
    node2: datanode, tasktracker

現在想將node2改成在windows下使用
目前使用VMware Player 4, VM內灌Ubuntu12.04
網路設定使用NAT, 並用Virtual Network Editor
    Host port : 8080
    Type : TCP
    Virtual machine IP address : 192.168.177.128
    Virtual machine port : 22

兩台電腦可以互相ssh
    node1 : ssh acc@140.116.226.234 -P 8080
    node2 : ssh yrag@yragggc

可是目前在node1啟動namenode, datanode, jobtracker tasktracker都可以
但是完全沒有連接到node2, 也沒有log (node1的log正常)
我猜是port, 或是master與slaves設定問題
但不知道怎麼設定

代碼:
node1 :
master : yragggc
slaves: yragggc
        140.116.226.234

代碼:
node2 :
master : yragggc
slaves: yragggc
        192.168.177.128


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 可以ssh, 但抓不到slaves, 連不到另外一台VMware上
文章發表於 : 2013-10-05, 01:00 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
簡單回覆:「NAT 網路架構造成 Hadoop 底層無法正確連線」。

您採用的是 NAT,且只有將 SSH 的 22 Port 轉到 8080。
然而 Hadoop 底層需要其他 RPC 的連線。

所以放在 VM 的 DataNode 雖然可以連上 NameNode ,
但 NameNode 會因為 NAT 的關係,連不回 DataNode。

試想 140.116.226.234:??? 如何連上 192.168.177.128:50010 呢?

因此,解決的方式是採用「Bridge (橋接網路)」。

假如您無法採用 Bridge 模式,只能用 NAT 模式,那就得正確設定全部的 port mapping。
如何瞭解需要做哪些 port mapping 呢?
不妨在您以前兩台實體機器的環境中,
下 netstat -nap | grep java 就可以比較清楚看到底層做了哪些連線。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 可以ssh, 但抓不到slaves, 連不到另外一台VMware上
文章發表於 : 2013-10-07, 11:20 
離線

註冊時間: 2013-10-02, 22:52
文章: 2
謝謝jazzz大

用bridged目前沒問題使用中

如果研究後有什麼心得我再補上來


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 3 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作