Master 節點無法啟動 namenode

GGG · **註冊時間:** 2015-11-10, 00:43 **文章:** 16

安裝環境:

VB 5.0.4
Ubuntu 15.04
hadoop 2.6.0

設置如下:

一台Master 一台Slave

分別在兩台主機下的VB運行

確定可以互相PING的到對方
以下是VB的網路配置

主機IP 主機連接埠客體IP 客體連接埠
Master XXX.XXX.XXX.167 22 10.0.2.15 22
Slave1 XXX.XXX.XXX.168 22 10.0.2.15 22

以下是Master的hosts設定

127.0.0.1 localhost

140.114.54.167 Master
140.114.54.168 Slave1

# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

問題描述如下:

start-all.sh的結果如下

user@Master:/usr/local/hadoop$ sbin/start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
Starting namenodes on [Master]
Master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-user-namenode-Master.out
Master: starting datanode, logging to /usr/local/hadoop/logs/hadoop-user-datanode-Master.out
ggg@Slave1: starting datanode, logging to /usr/local/hadoop/logs/hadoop-ggg-datanode-Slave1.out
Starting secondary namenodes [Master]
Master: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-user-secondarynamenode-Master.out
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-user-resourcemanager-Master.out
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
Master: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-user-nodemanager-Master.out
ggg@Slave1: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-ggg-nodemanager-Slave1.out

Master節點上的jps的結果如下

user@Master:/usr/local/hadoop$ jps
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
9193 NodeManager
8753 DataNode
9568 Jps

Slave1節點上的jps的結果如下

ggg@Slave1:~$ jps
2099 DataNode
2217 NodeManager
2432 Jps

Master上的namenode的log如下

2015-11-10 15:39:14,134 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one image storage directory (dfs.namenode.name.dir) configured. Beware of data loss due to lack of redundant storage directories!
2015-11-10 15:39:14,134 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories!

2015-11-10 15:39:16,185 WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false. Rechecking.
2015-11-10 15:39:16,185 WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false

2015-11-10 15:39:16,190 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.net.BindException: Problem binding to [Master:9000] java.net.BindException: 無法指定所需的位址; For more details see: http://wiki.apache.org/hadoop/BindException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:791)
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:720)
at org.apache.hadoop.ipc.Server.bind(Server.java:424)
at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:573)
at org.apache.hadoop.ipc.Server.<init>(Server.java:2205)
at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:931)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server.<init>(ProtobufRpcEngine.java:537)
at org.apache.hadoop.ipc.ProtobufRpcEngine.getServer(ProtobufRpcEngine.java:512)
at org.apache.hadoop.ipc.RPC$Builder.build(RPC.java:776)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.<init>(NameNodeRpcServer.java:331)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createRpcServer(NameNode.java:624)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:597)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:762)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:746)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1438)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1504)
Caused by: java.net.BindException: 無法指定所需的位址
at sun.nio.ch.Net.bind0(Native Method)
at sun.nio.ch.Net.bind(Net.java:463)
at sun.nio.ch.Net.bind(Net.java:455)
at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
at org.apache.hadoop.ipc.Server.bind(Server.java:407)
... 13 more
2015-11-10 15:39:16,202 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2015-11-10 15:39:16,213 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at Master/140.114.54.167
************************************************************/

此外Slave1節點上的tmp/dfs/data資料夾也為空

以下是Slave1的datanode的logs

WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: Master/XXX.XXX.XXX.167:9000

以上是我們所遇到的問題

跪求大大傾囊相授Q_Q

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

GGG 寫:

Master節點上的jps的結果如下

代碼:

user@Master:/usr/local/hadoop$ jps
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar 
9193 NodeManager
8753 DataNode
9568 Jps

Master上的namenode的log如下

2015-11-10 15:39:14,134 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one image storage directory (dfs.namenode.name.dir) configured. Beware of data loss due to lack of redundant storage directories!
2015-11-10 15:39:14,134 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories!

2015-11-10 15:39:16,185 WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false. Rechecking.
2015-11-10 15:39:16,185 WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false

2015-11-10 15:39:16,190 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.net.BindException: Problem binding to [Master:9000] java.net.BindException: 無法指定所需的位址; For more details see: http://wiki.apache.org/hadoop/BindException

這個狀況很可能發生在無法反查 Master 的 IP 時出現，或者 9000 這個連線埠已經在使用中。
請提供於 Master 上執行以下指令的結果：

代碼:

user@Master:/usr/local/hadoop$ cat /etc/hosts
user@Master:/usr/local/hadoop$ netstat -nlp

- Jazz

GGG · **註冊時間:** 2015-11-10, 00:43 **文章:** 16

引言回覆:

這個狀況很可能發生在無法反查 Master 的 IP 時出現，或者 9000 這個連線埠已經在使用中。
請提供於 Master 上執行以下指令的結果：

代碼:

user@Master:/usr/local/hadoop$ cat /etc/hosts
user@Master:/usr/local/hadoop$ netstat -nlp

- Jazz

代碼:

user@Master:/usr/local/hadoop$ cat /etc/hosts

27.0.0.1 localhost

140.114.54.167 Master
140.114.54.168 Slave1

# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

BTW 因為我們看到網路上這一篇文章網址:http://forum.hadoop.tw/viewtopic.php?f=4&t=37999
我們的虛擬機器是用NAT介面卡不知是否我們的問題跟NAT介面卡有關

代碼:

user@Master:/usr/local/hadoop$ netstat -nlp

(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 127.0.1.1:53 0.0.0.0:* LISTEN -
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN -
tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN -
tcp6 0 0 :::22 :::* LISTEN -
tcp6 0 0 ::1:631 :::* LISTEN -
udp 0 0 0.0.0.0:42924 0.0.0.0:* -
udp 0 0 0.0.0.0:5353 0.0.0.0:* -
udp 0 0 127.0.1.1:53 0.0.0.0:* -
udp 0 0 0.0.0.0:68 0.0.0.0:* -
udp 0 0 0.0.0.0:631 0.0.0.0:* -
udp 0 0 0.0.0.0:8996 0.0.0.0:* -
udp6 0 0 :::4000 :::* -
udp6 0 0 :::54195 :::* -
udp6 0 0 :::5353 :::* -
raw 0 0 0.0.0.0:1 0.0.0.0:* 7 -
raw 3072 0 0.0.0.0:1 0.0.0.0:* 7 -
raw 6912 0 0.0.0.0:1 0.0.0.0:* 7 -
raw6 0 0 :::58 :::* 7 -
Active UNIX domain sockets (only servers)
Proto RefCnt Flags Type State I-Node PID/Program name Path
unix 2 [ ACC ] STREAM LISTENING 18368 1449/gnome-session @/tmp/.ICE-unix/1449
unix 2 [ ACC ] STREAM LISTENING 15484 - /tmp/.X11-unix/X0
unix 2 [ ACC ] STREAM LISTENING 18369 1449/gnome-session /tmp/.ICE-unix/1449
unix 2 [ ACC ] STREAM LISTENING 19194 1439/fcitx /tmp/fcitx-socket-:0
unix 2 [ ACC ] SEQPACKET LISTENING 8993 - /run/udev/control
unix 2 [ ACC ] STREAM LISTENING 15483 - @/tmp/.X11-unix/X0
unix 2 [ ACC ] STREAM LISTENING 17786 1258/systemd /run/user/1000/systemd/private
unix 2 [ ACC ] STREAM LISTENING 11642 - /run/uuidd/request
unix 2 [ ACC ] STREAM LISTENING 11645 - /var/run/avahi-daemon/socket
unix 2 [ ACC ] STREAM LISTENING 11648 - /var/run/dbus/system_bus_socket
unix 2 [ ACC ] STREAM LISTENING 11651 - /run/acpid.socket
unix 2 [ ACC ] STREAM LISTENING 17805 - /run/user/1000/keyring/control
unix 2 [ ACC ] STREAM LISTENING 12192 - /sys/fs/cgroup/cgmanager/sock
unix 2 [ ACC ] STREAM LISTENING 17894 1272/upstart @/com/ubuntu/upstart-session/1000/1272
unix 2 [ ACC ] STREAM LISTENING 11693 - /var/run/cups/cups.sock
unix 2 [ ACC ] STREAM LISTENING 18867 1560/pulseaudio /run/user/1000/pulse/native
unix 2 [ ACC ] STREAM LISTENING 8632 - /run/systemd/private
unix 2 [ ACC ] STREAM LISTENING 8642 - /run/systemd/fsckd
unix 2 [ ACC ] STREAM LISTENING 18244 1454/dbus-daemon @/tmp/dbus-yiNZ8bqITF
unix 2 [ ACC ] STREAM LISTENING 17967 1361/dbus-daemon @/tmp/dbus-T6AXWCgXPv
unix 2 [ ACC ] STREAM LISTENING 18406 1487/dbus-daemon @/tmp/dbus-94ke4oJfRp
unix 2 [ ACC ] STREAM LISTENING 8665 - /run/systemd/journal/stdout
unix 2 [ ACC ] STREAM LISTENING 14308 - /var/run/NetworkManager/private
unix 2 [ ACC ] STREAM LISTENING 18150 - /run/user/1000/keyring/pkcs11
unix 2 [ ACC ] STREAM LISTENING 18154 - /run/user/1000/keyring/gpg
unix 2 [ ACC ] STREAM LISTENING 14314 - /var/run/NetworkManager/private-dhcp
unix 2 [ ACC ] STREAM LISTENING 18156 - /run/user/1000/keyring/ssh

辛苦你了jazz大大 T_T

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

GGG 寫:

代碼:

140.114.54.167  Master
140.114.54.168  Slave1

BTW 因為我們看到網路上這一篇文章網址:http://forum.hadoop.tw/viewtopic.php?f=4&t=37999
我們的虛擬機器是用NAT介面卡不知是否我們的問題跟NAT介面卡有關
辛苦你了jazz大大 T_T

原因出在 /etc/hosts 設定有誤，也跟你們的虛擬機器設定有關。
根據以上資訊，大膽猜測你們在兩台實體機中，各開一台虛擬機器。
在虛擬機器中，是無法 Bind 實體機的 IP 的，特別是你們用的是 NAT 介面卡。

若要解決這個問題，你們需要兩個新的 IP。
如果實體主機是接在同一個 Switch / Hub 上的話，比較單純一點。

假設網路架構改成這樣，將虛擬機器設定為使用「Bridge 橋接網路卡」
也就是等同於 VM1 與 VM2 也接在同一個 Hub 上。
因為在同一個 HUB 上就可以使用 192.168.10 網段。

代碼:

  +----------------------------+    +----------------------------+
  | PC1 (140.114.54.167)       |    | PC2 (140.114.54.168)       |
  |  +----------------------+  |    |  +----------------------+  |
  |  |  VM1 (192.168.10.1)  |  |    |  |  VM2 (192.168.10.2)  |  |
  |  +-----------+----------+  |    |  +-----------+----------+  |
  |            Bridge          |    |            Bridge          |
  |              |             |    |              |             |
  +--------------+-------------+    +--------------+-------------+
                 |                                 |
            +----+---------------------------------+----+
            |               Hub 集線器                  |
            +-------------------------------------------+

此時，VM1 (Master) 與 VM2 (Slave) 的 /etc/hosts 都需要設定為

代碼:

192.168.10.1 Master
192.168.10.2 Slave

大致上這樣才能解決你們遇到的問題。

- Jazz

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

GGG 寫:

不好意思QQ
想請問一下如何進行橋接
我們參照了網路上的做法設置了橋接但是沒有設置成功
我們把VirtualBox Host-Only Network 虛擬網卡跟區域連線網路2實體網卡橋接
但是橋接網路器圖示出現網路橋接器無法辨識
網路上也沒有相關的討論所以不好意思又來請教麻煩你QQ
我們也有把虛擬機器的介面卡2附加到橋接介面卡
不知道是否這樣設定就好?
麻煩jazz大大了

1. VirtualBox 的設定要改成 Bridge Adopter (如圖)

附加檔案:

Bridged_Adpater.png [ 29.27 KiB | 被瀏覽 18798 次 ]

2. VM 裡的網路設定也要跟著一起改（若不確定，請先秀兩台的 ifconfig 結果）

- Jazz

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

GGG 寫:

1. VirtualBox 的設定要改成 Bridge Adopter
有我們有改好了
2. VM 裡的網路設定也要跟著一起改（若不確定，請先秀兩台的 ifconfig 結果）
Master節點

代碼:

user@Master:~$ ifconfig
eth0      Link encap:Ethernet  HWaddr 08:00:27:b9:96:6d  
          inet addr:10.0.2.15  Bcast:10.0.2.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:feb9:966d/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:1689 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1260 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:1230006 (1.2 MB)  TX bytes:196852 (196.8 KB)

eth1      Link encap:Ethernet  HWaddr 08:00:27:d2:98:ed  
          inet addr:192.168.10.1  Bcast:192.168.10.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fed2:98ed/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:9335 errors:0 dropped:1175 overruns:0 frame:0
          TX packets:167 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:765697 (765.6 KB)  TX bytes:27441 (27.4 KB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:829 errors:0 dropped:0 overruns:0 frame:0
          TX packets:829 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:75495 (75.4 KB)  TX bytes:75495 (75.4 KB)

Slave1節點

代碼:

eth0      Link encap:Ethernet  HWaddr 08:00:27:c6:7f:c3  
          inet addr:10.0.2.15  Bcast:10.0.2.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fec6:7fc3/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:5675 errors:0 dropped:0 overruns:0 frame:0
          TX packets:2714 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:5758334 (5.7 MB)  TX bytes:429912 (429.9 KB)

eth1      Link encap:Ethernet  HWaddr 08:00:27:18:4b:35  
          inet addr:192.168.10.2  Bcast:192.168.10.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fe18:4b35/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:4946 errors:0 dropped:545 overruns:0 frame:0
          TX packets:90 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:406541 (406.5 KB)  TX bytes:15737 (15.7 KB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:917 errors:0 dropped:0 overruns:0 frame:0
          TX packets:917 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:113162 (113.1 KB)  TX bytes:113162 (113.1 KB)

BTW

代碼:

etc/network/interfaces

有需要特別改嗎??

1. 修改以後，192.168.10.1 可以 ping 得到 192.168.10.2 嗎？
我比較擔心的是因為 NAT 網路還在的緣故，預設的閘道(Gateway)還在，
所以並沒有走 Bridge 去問另外一台。

2. 若沒有改 etc/network/interfaces，你們是直接用 Network Manager 手動設定？

- Jazz

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

GGG 寫:

Jazz 大, 我們關掉NAT介面卡後, 僅設橋接介面卡, 也有在/etc/network/interfaces 中修改,
目前已經可以互ping 192.168了.
並且已在Master節點上修改hadoop資料夾.

core-site.xml

代碼:

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>

hdfs-site.xml

代碼:

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>Master:50090</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>

mapred-site.xml

代碼:

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

yarn-site.xml

代碼:

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

目前已經成功開啟 NameNode, Master節點上也有成功開啟DataNode,

但是Slave1節點雖然有成功開啟DataNode, /tmp/dfs/data 資料夾卻是空的,

搜尋 master:50070 後,

Overview
Live Nodes 1(Decommissioned: 0)
Dead Nodes 0(Decommissioned: 0)
Decommissioning Nodes 0

Datanodes
Master(192.168.10.1:50010)

意思是指Master節點上的DataNode 有成功開啟, 但Slave1節點上的DataNode沒有成功開啟,

因此我看了一下Slave1的DataNode的log, /logs/hadoop-ggg-datanode-Slave1.log

得到錯誤如下:

WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: Master/192.168.10.1:9000

不知是否是因為Slave1對Master的ssh沒有弄所導致的?!

請問Jazz大大能否指點迷津.

辛苦您了.

1. 除了 WARN 以外，還有其他資訊嗎？
2. 請在 Slave1 上確認
(A) 可以連得上 192.168.10.1:9000 - 我習慣上會用

代碼:

telnet 192.168.10.1 9000

或者

代碼:

netcat -v -z -w 1 192.168.10.1 9000

這兩種指令來確認是否連得上 Port
(B) 若連不上，可能 Master 有防火牆，請下

代碼:

iptables-save

或

代碼:

iptables -L

檢查

- Jazz

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

GGG 寫:

我們在 hdfs-site.xml 輸入以下這段

代碼:

<property>
      <name>dfs.permissions</name>
      <value>false</value>
</property>

Slave1節點上的datanode裡面的tmp/dfs/data有資料了
搜尋 master:50070 後,Slave1節點上的DataNode也有成功開啟

Cool~ 很高興你們找到解法了

- Jazz

Taiwan Hadoop Forum

Master 節點無法啟動 namenode

誰在線上