Taiwan Hadoop Forum

各位先進好

想請教關於 Nodes of cluster 網頁沒有任何 node 被顯示的問題.
lab 環境如下
OS: CentOS 7.2
Hadoop 版本: 2.6.4
SELinux 狀態: disabled
Firewalld.service: disabled
1 個 namenode 與 3 個 datanode

使用瀏覽器查看 node 相關資訊時, 網業沒有任何 node 被顯示...
可是用指令看 service 跟 dfs 似乎又沒什麼異常, 實在想不通為什麼, 找了很多資料還是研究不出來, 所以想請教各位先進, 我在什麼地方設錯了呢?
謝謝幫助!

以下為輔助資訊:

在 namenode 上下 jps 得到
NameNode
ResourceManager
Jps
SecondaryNameNode

在 datanode 上下 jps 得到
Jps
Datanode
NodeManager

在 namenode 上下 hdfs dfsadmin -report 得到

Live datanodes (3):

Name: 192.168.56.76:50010 (ndata2)
Hostname: ndata2
Decommission Status : Normal
Configured Capacity: 46689157120 (43.48 GB)
DFS Used: 8192 (8 KB)
Non DFS Used: 4379029504 (4.08 GB)
DFS Remaining: 42310119424 (39.40 GB)
DFS Used%: 0.00%
DFS Remaining%: 90.62%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Jun 03 19:22:03 CST 2016


Name: 192.168.56.77:50010 (ndata3)
Hostname: ndata3
Decommission Status : Normal
Configured Capacity: 46689157120 (43.48 GB)
DFS Used: 8192 (8 KB)
Non DFS Used: 4706553856 (4.38 GB)
DFS Remaining: 41982595072 (39.10 GB)
DFS Used%: 0.00%
DFS Remaining%: 89.92%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Jun 03 19:22:04 CST 2016


Name: 192.168.56.75:50010 (ndata1)
Hostname: ndata1
Decommission Status : Normal
Configured Capacity: 46689157120 (43.48 GB)
DFS Used: 8192 (8 KB)
Non DFS Used: 4379226112 (4.08 GB)
DFS Remaining: 42309922816 (39.40 GB)
DFS Used%: 0.00%
DFS Remaining%: 90.62%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Jun 03 19:22:03 CST 2016

指令結果看起來是正常，請問「使用瀏覽器查看」卻沒有任何 node 被顯示，是指 http://namenode:50070 顯示 Live Node 為 0 嗎？

- Jazz

先謝謝您的指導喔! 然後很抱歉是我沒有說清楚,

是 http://192.168.56.74:8088 顯示無任何 node.
http://192.168.56.74:50070 顯示是正常的. 首頁 Overview 有正常顯示 Live Nodes 為 3, Datanodes 也顯示正常, 3 個 Nodes 都看的到.

http://192.168.56.74:8088 頁面, 有點難形容... 是林大貴那本 "Hadoop+Spark大數據巨量分析與機器學習整合開發實戰" 書裡第 77 頁下方那張圖, Title 就叫 Nodes of the cluster, 完整的網址是 http://192.168.56.74:8088/cluster/nodes
我看了那本書的 facebook 粉絲頁, 也有一個人問過同樣的問題, 但是沒有人回答他. 我試建了兩個 cluster, 一次照書裡的試, 一次是網路上找來的建置文章, 兩次都看不到任何 node 在這個網頁上.

可以貼一下 ndata1 跟 192.168.56.74 的 yarn-site.xml 設定？

- Jazz

謝謝您!

這是 192.168.56.74 的 yarn-site.xml 設定

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>nmaster:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>nmaster:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>nmaster:8050</value>
</property>
</configuration>


這是 ndata1 的設定
<configuration>

<!-- Site specific YARN configuration properties -->

</configuration>

看起來是因為 ndata1, ndata2, ndata3 三台的 yarn-site.xml 並沒有設定指向 nmaster (192.168.65.74)
建議您將 nmaster 的 yarn-site.xml 複製到 ndata1, ndata2, ndata3 再重新啟動 YARN 試試看～

- Jazz

原來是這樣呀! 非常謝謝 Jazz 您的指導! ~

下班回家立刻測試, 完全跟您講的一樣! 加上去後各個 node 就紛紛出現了!
您真厲害! 我查了一整個禮拜的資料也沒能解出來. 真是救了我, 萬分感謝!!