Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2017-05-29, 02:39

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 7 篇文章 ] 
發表人 內容
 文章主題 : 請教 Nodes of cluster 網頁沒有任何 node 被顯示
文章發表於 : 2016-06-03, 19:49 
離線

註冊時間: 2016-06-03, 19:18
文章: 4
各位先進好

想請教關於 Nodes of cluster 網頁沒有任何 node 被顯示的問題.
lab 環境如下
OS: CentOS 7.2
Hadoop 版本: 2.6.4
SELinux 狀態: disabled
Firewalld.service: disabled
1 個 namenode 與 3 個 datanode

使用瀏覽器查看 node 相關資訊時, 網業沒有任何 node 被顯示...
可是用指令看 service 跟 dfs 似乎又沒什麼異常, 實在想不通為什麼, 找了很多資料還是研究不出來, 所以想請教各位先進, 我在什麼地方設錯了呢?
謝謝幫助!

以下為輔助資訊:

在 namenode 上下 jps 得到
NameNode
ResourceManager
Jps
SecondaryNameNode

在 datanode 上下 jps 得到
Jps
Datanode
NodeManager

在 namenode 上下 hdfs dfsadmin -report 得到

Live datanodes (3):

Name: 192.168.56.76:50010 (ndata2)
Hostname: ndata2
Decommission Status : Normal
Configured Capacity: 46689157120 (43.48 GB)
DFS Used: 8192 (8 KB)
Non DFS Used: 4379029504 (4.08 GB)
DFS Remaining: 42310119424 (39.40 GB)
DFS Used%: 0.00%
DFS Remaining%: 90.62%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Jun 03 19:22:03 CST 2016


Name: 192.168.56.77:50010 (ndata3)
Hostname: ndata3
Decommission Status : Normal
Configured Capacity: 46689157120 (43.48 GB)
DFS Used: 8192 (8 KB)
Non DFS Used: 4706553856 (4.38 GB)
DFS Remaining: 41982595072 (39.10 GB)
DFS Used%: 0.00%
DFS Remaining%: 89.92%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Jun 03 19:22:04 CST 2016


Name: 192.168.56.75:50010 (ndata1)
Hostname: ndata1
Decommission Status : Normal
Configured Capacity: 46689157120 (43.48 GB)
DFS Used: 8192 (8 KB)
Non DFS Used: 4379226112 (4.08 GB)
DFS Remaining: 42309922816 (39.40 GB)
DFS Used%: 0.00%
DFS Remaining%: 90.62%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Jun 03 19:22:03 CST 2016


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請教 Nodes of cluster 網頁沒有任何 node 被顯示
文章發表於 : 2016-06-03, 21:57 
離線

註冊時間: 2009-11-09, 19:52
文章: 2893
kangkang0705 寫:
1 個 namenode 與 3 個 datanode
使用瀏覽器查看 node 相關資訊時, 網業沒有任何 node 被顯示...
可是用指令看 service 跟 dfs 似乎又沒什麼異常
在 namenode 上下 hdfs dfsadmin -report 得到
Live datanodes (3):
Name: 192.168.56.76:50010 (ndata2)
Name: 192.168.56.77:50010 (ndata3)
Name: 192.168.56.75:50010 (ndata1)


指令結果看起來是正常,請問「使用瀏覽器查看」卻沒有任何 node 被顯示,是指 http://namenode:50070 顯示 Live Node 為 0 嗎?

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請教 Nodes of cluster 網頁沒有任何 node 被顯示
文章發表於 : 2016-06-04, 10:02 
離線

註冊時間: 2016-06-03, 19:18
文章: 4
jazz 寫:
kangkang0705 寫:
1 個 namenode 與 3 個 datanode
使用瀏覽器查看 node 相關資訊時, 網業沒有任何 node 被顯示...
可是用指令看 service 跟 dfs 似乎又沒什麼異常
在 namenode 上下 hdfs dfsadmin -report 得到
Live datanodes (3):
Name: 192.168.56.76:50010 (ndata2)
Name: 192.168.56.77:50010 (ndata3)
Name: 192.168.56.75:50010 (ndata1)


指令結果看起來是正常,請問「使用瀏覽器查看」卻沒有任何 node 被顯示,是指 http://namenode:50070 顯示 Live Node 為 0 嗎?

- Jazz


先謝謝您的指導喔! :D 然後很抱歉是我沒有說清楚,

http://192.168.56.74:8088 顯示無任何 node.
http://192.168.56.74:50070 顯示是正常的. 首頁 Overview 有正常顯示 Live Nodes 為 3, Datanodes 也顯示正常, 3 個 Nodes 都看的到.

http://192.168.56.74:8088 頁面, 有點難形容... 是林大貴那本 "Hadoop+Spark大數據巨量分析與機器學習整合開發實戰" 書裡第 77 頁下方那張圖, Title 就叫 Nodes of the cluster, 完整的網址是 http://192.168.56.74:8088/cluster/nodes
我看了那本書的 facebook 粉絲頁, 也有一個人問過同樣的問題, 但是沒有人回答他. 我試建了兩個 cluster, 一次照書裡的試, 一次是網路上找來的建置文章, 兩次都看不到任何 node 在這個網頁上.


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請教 Nodes of cluster 網頁沒有任何 node 被顯示
文章發表於 : 2016-06-05, 08:22 
離線

註冊時間: 2009-11-09, 19:52
文章: 2893
kangkang0705 寫:
http://192.168.56.74:8088/cluster/nodes
兩次都看不到任何 node 在這個網頁上.


可以貼一下 ndata1 跟 192.168.56.74 的 yarn-site.xml 設定?

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請教 Nodes of cluster 網頁沒有任何 node 被顯示
文章發表於 : 2016-06-06, 12:30 
離線

註冊時間: 2016-06-03, 19:18
文章: 4
jazz 寫:
kangkang0705 寫:
http://192.168.56.74:8088/cluster/nodes
兩次都看不到任何 node 在這個網頁上.


可以貼一下 ndata1 跟 192.168.56.74 的 yarn-site.xml 設定?

- Jazz


謝謝您!

這是 192.168.56.74 的 yarn-site.xml 設定

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>nmaster:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>nmaster:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>nmaster:8050</value>
</property>
</configuration>


這是 ndata1 的設定
<configuration>

<!-- Site specific YARN configuration properties -->

</configuration>


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請教 Nodes of cluster 網頁沒有任何 node 被顯示
文章發表於 : 2016-06-06, 23:24 
離線

註冊時間: 2009-11-09, 19:52
文章: 2893
kangkang0705 寫:
這是 ndata1 的設定
代碼:
<configuration>
<!-- Site specific YARN configuration properties -->
</configuration>


看起來是因為 ndata1, ndata2, ndata3 三台的 yarn-site.xml 並沒有設定指向 nmaster (192.168.65.74)
建議您將 nmaster 的 yarn-site.xml 複製到 ndata1, ndata2, ndata3 再重新啟動 YARN 試試看~

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請教 Nodes of cluster 網頁沒有任何 node 被顯示
文章發表於 : 2016-06-08, 00:31 
離線

註冊時間: 2016-06-03, 19:18
文章: 4
jazz 寫:
kangkang0705 寫:
這是 ndata1 的設定
代碼:
<configuration>
<!-- Site specific YARN configuration properties -->
</configuration>


看起來是因為 ndata1, ndata2, ndata3 三台的 yarn-site.xml 並沒有設定指向 nmaster (192.168.65.74)
建議您將 nmaster 的 yarn-site.xml 複製到 ndata1, ndata2, ndata3 再重新啟動 YARN 試試看~

- Jazz


原來是這樣呀! 非常謝謝 Jazz 您的指導! ~ :D

下班回家立刻測試, 完全跟您講的一樣! 加上去後各個 node 就紛紛出現了!
您真厲害! 我查了一整個禮拜的資料也沒能解出來. 真是救了我, 萬分感謝!!


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 7 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作