Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-30, 02:37

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : [問題]Node只能看到Master一台
文章發表於 : 2015-05-16, 20:36 
離線

註冊時間: 2015-05-16, 20:14
文章: 10
小弟的設置如下
一台Master 兩台Slave

使用的環境皆為
代碼:
ubuntu 14.04
hadoop 2.6


hosts如下
代碼:
127.0.0.1       localhost

XXX.XXX.XXX.115   Master
XXX.XXX.XXX.113   Slave1
XXX.XXX.XXX.114   Slave2

# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters


start-all.sh的結果如下
代碼:
hadoop@Master:~$ start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [localhost]
localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.out
Slave1: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-Slave1.out
Slave2: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-Slave2.out
Starting secondary namenodes [Master]
Master: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-secondarynamenode-Master.out
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-resourcemanager-Master.out
Slave1: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-nodemanager-Slave1.out
Slave2: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hadoop-nodemanager-Slave2.out


下了hdfs dfsadmin -report 指令得到的結果為
代碼:
Configured Capacity: 48197730304 (44.89 GB)
Present Capacity: 41140113408 (38.31 GB)
DFS Remaining: 41140088832 (38.31 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Live datanodes (1):

Name: 127.0.0.1:50010 (localhost)
Hostname: Master
Decommission Status : Normal
Configured Capacity: 48197730304 (44.89 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 7057616896 (6.57 GB)
DFS Remaining: 41140088832 (38.31 GB)
DFS Used%: 0.00%
DFS Remaining%: 85.36%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sun May 17 04:23:12 CST 2015


網頁50070的結果如下
代碼:
Configured Capacity:   44.89 GB
DFS Used:   24 KB
Non DFS Used:   6.57 GB
DFS Remaining:   38.31 GB
DFS Used%:   0%
DFS Remaining%:   85.36%
Block Pool Used:   24 KB
Block Pool Used%:   0%
DataNodes usages% (Min/Median/Max/stdDev):   0.00% / 0.00% / 0.00% / 0.00%
Live Nodes   1 (Decommissioned: 0)
Dead Nodes   0 (Decommissioned: 0)
Decommissioning Nodes   0
Number of Under-Replicated Blocks   0
Number of Blocks Pending Deletion   0
Block Deletion Start Time   2015/5/17 上午4:23:10


Master的jps如下
代碼:
5039 SecondaryNameNode
5198 ResourceManager
4845 NameNode
3311 DataNode
5670 Jps


Slave1的jps如下
代碼:
2302 DataNode
2422 NodeManager
2647 Jps


Slave2的jps如下
代碼:
2626 NodeManager
2506 DataNode
2785 Jps


好像只能看到Master是Live Nodes,其他兩台Slave卻找不到,不知道該如何解決?
如果需要任何資訊我可以再上傳,麻煩各為大大了


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: [問題]Node只能看到Master一台
文章發表於 : 2015-05-19, 00:53 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
felix0221 寫:
start-all.sh的結果如下
代碼:
hadoop@Master:~$ start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [localhost]
localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.out
Slave1: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-Slave1.out
Slave2: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-Slave2.out

下了hdfs dfsadmin -report 指令得到的結果為
代碼:
Name: 127.0.0.1:50010 (localhost)
Hostname: Master

好像只能看到Master是Live Nodes,其他兩台Slave卻找不到,不知道該如何解決?
如果需要任何資訊我可以再上傳,麻煩各為大大了


從訊息就可以看得出 NameNode 聽在 localhost, 所以網路接不上。( localhost (127.0.0.1) 只有本機可以連自己,其他台連不上 )
像 DataNode 也是跑在 127.0.0.1:50010, 若正常設定,應該是 xxx.xxx.xxx.115:50010
可能是設定檔沒改,請修改 core-site.xml / hdfs-site.xml / mapred-site.xml 裡的 localhost 變成 Master

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: [問題]Node只能看到Master一台
文章發表於 : 2015-05-19, 22:27 
離線

註冊時間: 2015-05-16, 20:14
文章: 10
成功了,謝謝。
想問一下hdfs://localhost:9000/ 的port的設定是哪個xml,麻煩大大了


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: [問題]Node只能看到Master一台
文章發表於 : 2015-05-19, 23:16 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
felix0221 寫:
成功了,謝謝。
想問一下hdfs://localhost:9000/ 的port的設定是哪個xml,麻煩大大了


core-site.xml


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作