Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2017-02-23, 10:30

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 8 篇文章 ] 
發表人 內容
 文章主題 : Master 節點無法啟動 namenode
文章發表於 : 2015-11-10, 15:55 
離線

註冊時間: 2015-11-10, 00:43
文章: 16
安裝環境:

VB 5.0.4
Ubuntu 15.04
hadoop 2.6.0

設置如下:

一台Master 一台Slave

分別在兩台主機下的VB運行

確定可以互相PING的到對方
以下是VB的網路配置

主機IP 主機連接埠 客體IP 客體連接埠
Master XXX.XXX.XXX.167 22 10.0.2.15 22
Slave1 XXX.XXX.XXX.168 22 10.0.2.15 22

以下是Master的hosts設定

127.0.0.1 localhost

140.114.54.167 Master
140.114.54.168 Slave1

# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters



問題描述如下:

start-all.sh的結果如下

user@Master:/usr/local/hadoop$ sbin/start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
Starting namenodes on [Master]
Master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-user-namenode-Master.out
Master: starting datanode, logging to /usr/local/hadoop/logs/hadoop-user-datanode-Master.out
ggg@Slave1: starting datanode, logging to /usr/local/hadoop/logs/hadoop-ggg-datanode-Slave1.out
Starting secondary namenodes [Master]
Master: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-user-secondarynamenode-Master.out
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-user-resourcemanager-Master.out
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
Master: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-user-nodemanager-Master.out
ggg@Slave1: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-ggg-nodemanager-Slave1.out

Master節點上的jps的結果如下

user@Master:/usr/local/hadoop$ jps
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
9193 NodeManager
8753 DataNode
9568 Jps

Slave1節點上的jps的結果如下

ggg@Slave1:~$ jps
2099 DataNode
2217 NodeManager
2432 Jps

Master上的namenode的log如下

2015-11-10 15:39:14,134 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one image storage directory (dfs.namenode.name.dir) configured. Beware of data loss due to lack of redundant storage directories!
2015-11-10 15:39:14,134 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories!

2015-11-10 15:39:16,185 WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false. Rechecking.
2015-11-10 15:39:16,185 WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false

2015-11-10 15:39:16,190 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.net.BindException: Problem binding to [Master:9000] java.net.BindException: 無法指定所需的位址; For more details see: http://wiki.apache.org/hadoop/BindException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:791)
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:720)
at org.apache.hadoop.ipc.Server.bind(Server.java:424)
at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:573)
at org.apache.hadoop.ipc.Server.<init>(Server.java:2205)
at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:931)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server.<init>(ProtobufRpcEngine.java:537)
at org.apache.hadoop.ipc.ProtobufRpcEngine.getServer(ProtobufRpcEngine.java:512)
at org.apache.hadoop.ipc.RPC$Builder.build(RPC.java:776)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.<init>(NameNodeRpcServer.java:331)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createRpcServer(NameNode.java:624)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:597)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:762)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:746)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1438)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1504)
Caused by: java.net.BindException: 無法指定所需的位址
at sun.nio.ch.Net.bind0(Native Method)
at sun.nio.ch.Net.bind(Net.java:463)
at sun.nio.ch.Net.bind(Net.java:455)
at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
at org.apache.hadoop.ipc.Server.bind(Server.java:407)
... 13 more
2015-11-10 15:39:16,202 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2015-11-10 15:39:16,213 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at Master/140.114.54.167
************************************************************/


此外Slave1節點上的tmp/dfs/data資料夾也為空


以下是Slave1的datanode的logs

WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: Master/XXX.XXX.XXX.167:9000


以上是我們所遇到的問題

跪求大大傾囊相授Q_Q


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Master 節點無法啟動 namenode
文章發表於 : 2015-11-11, 11:59 
離線

註冊時間: 2009-11-09, 19:52
文章: 2886
GGG 寫:
Master節點上的jps的結果如下
代碼:
user@Master:/usr/local/hadoop$ jps
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
9193 NodeManager
8753 DataNode
9568 Jps

Master上的namenode的log如下

2015-11-10 15:39:14,134 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one image storage directory (dfs.namenode.name.dir) configured. Beware of data loss due to lack of redundant storage directories!
2015-11-10 15:39:14,134 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories!

2015-11-10 15:39:16,185 WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false. Rechecking.
2015-11-10 15:39:16,185 WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false

2015-11-10 15:39:16,190 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.net.BindException: Problem binding to [Master:9000] java.net.BindException: 無法指定所需的位址; For more details see: http://wiki.apache.org/hadoop/BindException


這個狀況很可能發生在無法反查 Master 的 IP 時出現,或者 9000 這個連線埠已經在使用中。
請提供於 Master 上執行以下指令的結果:

代碼:
user@Master:/usr/local/hadoop$ cat /etc/hosts
user@Master:/usr/local/hadoop$ netstat -nlp


- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Master 節點無法啟動 namenode
文章發表於 : 2015-11-11, 14:05 
離線

註冊時間: 2015-11-10, 00:43
文章: 16
引言回覆:

這個狀況很可能發生在無法反查 Master 的 IP 時出現,或者 9000 這個連線埠已經在使用中。
請提供於 Master 上執行以下指令的結果:

代碼:
user@Master:/usr/local/hadoop$ cat /etc/hosts
user@Master:/usr/local/hadoop$ netstat -nlp


- Jazz




代碼:
user@Master:/usr/local/hadoop$ cat /etc/hosts


27.0.0.1 localhost

140.114.54.167 Master
140.114.54.168 Slave1

# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

BTW 因為我們看到網路上這一篇文章 網址:http://forum.hadoop.tw/viewtopic.php?f=4&t=37999
我們的虛擬機器是用NAT介面卡 不知是否我們的問題跟NAT介面卡有關




代碼:
user@Master:/usr/local/hadoop$ netstat -nlp


(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 127.0.1.1:53 0.0.0.0:* LISTEN -
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN -
tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN -
tcp6 0 0 :::22 :::* LISTEN -
tcp6 0 0 ::1:631 :::* LISTEN -
udp 0 0 0.0.0.0:42924 0.0.0.0:* -
udp 0 0 0.0.0.0:5353 0.0.0.0:* -
udp 0 0 127.0.1.1:53 0.0.0.0:* -
udp 0 0 0.0.0.0:68 0.0.0.0:* -
udp 0 0 0.0.0.0:631 0.0.0.0:* -
udp 0 0 0.0.0.0:8996 0.0.0.0:* -
udp6 0 0 :::4000 :::* -
udp6 0 0 :::54195 :::* -
udp6 0 0 :::5353 :::* -
raw 0 0 0.0.0.0:1 0.0.0.0:* 7 -
raw 3072 0 0.0.0.0:1 0.0.0.0:* 7 -
raw 6912 0 0.0.0.0:1 0.0.0.0:* 7 -
raw6 0 0 :::58 :::* 7 -
Active UNIX domain sockets (only servers)
Proto RefCnt Flags Type State I-Node PID/Program name Path
unix 2 [ ACC ] STREAM LISTENING 18368 1449/gnome-session @/tmp/.ICE-unix/1449
unix 2 [ ACC ] STREAM LISTENING 15484 - /tmp/.X11-unix/X0
unix 2 [ ACC ] STREAM LISTENING 18369 1449/gnome-session /tmp/.ICE-unix/1449
unix 2 [ ACC ] STREAM LISTENING 19194 1439/fcitx /tmp/fcitx-socket-:0
unix 2 [ ACC ] SEQPACKET LISTENING 8993 - /run/udev/control
unix 2 [ ACC ] STREAM LISTENING 15483 - @/tmp/.X11-unix/X0
unix 2 [ ACC ] STREAM LISTENING 17786 1258/systemd /run/user/1000/systemd/private
unix 2 [ ACC ] STREAM LISTENING 11642 - /run/uuidd/request
unix 2 [ ACC ] STREAM LISTENING 11645 - /var/run/avahi-daemon/socket
unix 2 [ ACC ] STREAM LISTENING 11648 - /var/run/dbus/system_bus_socket
unix 2 [ ACC ] STREAM LISTENING 11651 - /run/acpid.socket
unix 2 [ ACC ] STREAM LISTENING 17805 - /run/user/1000/keyring/control
unix 2 [ ACC ] STREAM LISTENING 12192 - /sys/fs/cgroup/cgmanager/sock
unix 2 [ ACC ] STREAM LISTENING 17894 1272/upstart @/com/ubuntu/upstart-session/1000/1272
unix 2 [ ACC ] STREAM LISTENING 11693 - /var/run/cups/cups.sock
unix 2 [ ACC ] STREAM LISTENING 18867 1560/pulseaudio /run/user/1000/pulse/native
unix 2 [ ACC ] STREAM LISTENING 8632 - /run/systemd/private
unix 2 [ ACC ] STREAM LISTENING 8642 - /run/systemd/fsckd
unix 2 [ ACC ] STREAM LISTENING 18244 1454/dbus-daemon @/tmp/dbus-yiNZ8bqITF
unix 2 [ ACC ] STREAM LISTENING 17967 1361/dbus-daemon @/tmp/dbus-T6AXWCgXPv
unix 2 [ ACC ] STREAM LISTENING 18406 1487/dbus-daemon @/tmp/dbus-94ke4oJfRp
unix 2 [ ACC ] STREAM LISTENING 8665 - /run/systemd/journal/stdout
unix 2 [ ACC ] STREAM LISTENING 14308 - /var/run/NetworkManager/private
unix 2 [ ACC ] STREAM LISTENING 18150 - /run/user/1000/keyring/pkcs11
unix 2 [ ACC ] STREAM LISTENING 18154 - /run/user/1000/keyring/gpg
unix 2 [ ACC ] STREAM LISTENING 14314 - /var/run/NetworkManager/private-dhcp
unix 2 [ ACC ] STREAM LISTENING 18156 - /run/user/1000/keyring/ssh

辛苦你了jazz大大 T_T


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Master 節點無法啟動 namenode
文章發表於 : 2015-11-11, 21:59 
離線

註冊時間: 2009-11-09, 19:52
文章: 2886
GGG 寫:
代碼:
140.114.54.167  Master
140.114.54.168  Slave1

BTW 因為我們看到網路上這一篇文章 網址:http://forum.hadoop.tw/viewtopic.php?f=4&t=37999
我們的虛擬機器是用NAT介面卡 不知是否我們的問題跟NAT介面卡有關
辛苦你了jazz大大 T_T


原因出在 /etc/hosts 設定有誤,也跟你們的虛擬機器設定有關。
根據以上資訊,大膽猜測你們在兩台實體機中,各開一台虛擬機器。
在虛擬機器中,是無法 Bind 實體機的 IP 的,特別是你們用的是 NAT 介面卡。

若要解決這個問題,你們需要兩個新的 IP。
如果實體主機是接在同一個 Switch / Hub 上的話,比較單純一點。

假設網路架構改成這樣,將虛擬機器設定為使用「Bridge 橋接網路卡」
也就是等同於 VM1 與 VM2 也接在同一個 Hub 上。
因為在同一個 HUB 上就可以使用 192.168.10 網段。

代碼:
  +----------------------------+    +----------------------------+
  | PC1 (140.114.54.167)       |    | PC2 (140.114.54.168)       |
  |  +----------------------+  |    |  +----------------------+  |
  |  |  VM1 (192.168.10.1)  |  |    |  |  VM2 (192.168.10.2)  |  |
  |  +-----------+----------+  |    |  +-----------+----------+  |
  |            Bridge          |    |            Bridge          |
  |              |             |    |              |             |
  +--------------+-------------+    +--------------+-------------+
                 |                                 |
            +----+---------------------------------+----+
            |               Hub 集線器                  |
            +-------------------------------------------+


此時,VM1 (Master) 與 VM2 (Slave) 的 /etc/hosts 都需要設定為
代碼:
192.168.10.1 Master
192.168.10.2 Slave


大致上這樣才能解決你們遇到的問題。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Master 節點無法啟動 namenode
文章發表於 : 2015-11-12, 23:27 
離線

註冊時間: 2009-11-09, 19:52
文章: 2886
GGG 寫:
不好意思QQ
想請問一下如何進行橋接
我們參照了網路上的做法設置了橋接但是沒有設置成功
我們把VirtualBox Host-Only Network 虛擬網卡跟區域連線 網路2實體網卡橋接
但是橋接網路器圖示出現 網路橋接器 無法辨識
網路上也沒有相關的討論所以不好意思又來請教麻煩你QQ
我們也有把虛擬機器的介面卡2附加到橋接介面卡
不知道是否這樣設定就好?
麻煩jazz大大了


1. VirtualBox 的設定要改成 Bridge Adopter (如圖)

附加檔案:
Bridged_Adpater.png
Bridged_Adpater.png [ 29.27 KiB | 被瀏覽 8977 次 ]


2. VM 裡的網路設定也要跟著一起改(若不確定,請先秀兩台的 ifconfig 結果)

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Master 節點無法啟動 namenode
文章發表於 : 2015-11-13, 22:47 
離線

註冊時間: 2009-11-09, 19:52
文章: 2886
GGG 寫:
1. VirtualBox 的設定要改成 Bridge Adopter
有我們有改好了
2. VM 裡的網路設定也要跟著一起改(若不確定,請先秀兩台的 ifconfig 結果)
Master節點
代碼:
user@Master:~$ ifconfig
eth0      Link encap:Ethernet  HWaddr 08:00:27:b9:96:6d 
          inet addr:10.0.2.15  Bcast:10.0.2.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:feb9:966d/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:1689 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1260 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1230006 (1.2 MB)  TX bytes:196852 (196.8 KB)

eth1      Link encap:Ethernet  HWaddr 08:00:27:d2:98:ed 
          inet addr:192.168.10.1  Bcast:192.168.10.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fed2:98ed/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:9335 errors:0 dropped:1175 overruns:0 frame:0
          TX packets:167 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:765697 (765.6 KB)  TX bytes:27441 (27.4 KB)

lo        Link encap:Local Loopback 
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:829 errors:0 dropped:0 overruns:0 frame:0
          TX packets:829 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:75495 (75.4 KB)  TX bytes:75495 (75.4 KB)



Slave1節點

代碼:
eth0      Link encap:Ethernet  HWaddr 08:00:27:c6:7f:c3 
          inet addr:10.0.2.15  Bcast:10.0.2.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fec6:7fc3/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:5675 errors:0 dropped:0 overruns:0 frame:0
          TX packets:2714 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:5758334 (5.7 MB)  TX bytes:429912 (429.9 KB)

eth1      Link encap:Ethernet  HWaddr 08:00:27:18:4b:35 
          inet addr:192.168.10.2  Bcast:192.168.10.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fe18:4b35/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:4946 errors:0 dropped:545 overruns:0 frame:0
          TX packets:90 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:406541 (406.5 KB)  TX bytes:15737 (15.7 KB)

lo        Link encap:Local Loopback 
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:917 errors:0 dropped:0 overruns:0 frame:0
          TX packets:917 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:113162 (113.1 KB)  TX bytes:113162 (113.1 KB)


BTW

代碼:
etc/network/interfaces


有需要特別改嗎??


1. 修改以後,192.168.10.1 可以 ping 得到 192.168.10.2 嗎?
我比較擔心的是因為 NAT 網路還在的緣故,預設的閘道(Gateway)還在,
所以並沒有走 Bridge 去問另外一台。

2. 若沒有改 etc/network/interfaces,你們是直接用 Network Manager 手動設定?

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Master 節點無法啟動 namenode
文章發表於 : 2015-11-17, 00:52 
離線

註冊時間: 2009-11-09, 19:52
文章: 2886
GGG 寫:
Jazz 大, 我們關掉NAT介面卡後, 僅設橋接介面卡, 也有在/etc/network/interfaces 中修改,
目前已經可以互ping 192.168了.
並且已在Master節點上修改hadoop資料夾.

core-site.xml
代碼:
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>


hdfs-site.xml
代碼:
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>Master:50090</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>


mapred-site.xml
代碼:
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>


yarn-site.xml
代碼:
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>



目前已經成功開啟 NameNode, Master節點上也有成功開啟DataNode,

但是Slave1節點雖然有成功開啟DataNode, /tmp/dfs/data 資料夾卻是空的,

搜尋 master:50070 後,

Overview
Live Nodes 1(Decommissioned: 0)
Dead Nodes 0(Decommissioned: 0)
Decommissioning Nodes 0

Datanodes
Master(192.168.10.1:50010)


意思是指Master節點上的DataNode 有成功開啟, 但Slave1節點上的DataNode沒有成功開啟,

因此我看了一下Slave1的DataNode的log, /logs/hadoop-ggg-datanode-Slave1.log

得到錯誤如下:

WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: Master/192.168.10.1:9000

不知是否是因為Slave1對Master的ssh沒有弄所導致的?!

請問Jazz大大能否指點迷津.

辛苦您了.


1. 除了 WARN 以外,還有其他資訊嗎?
2. 請在 Slave1 上確認
(A) 可以連得上 192.168.10.1:9000 - 我習慣上會用
代碼:
telnet 192.168.10.1 9000
或者
代碼:
netcat -v -z -w 1 192.168.10.1 9000
這兩種指令來確認是否連得上 Port
(B) 若連不上,可能 Master 有防火牆,請下
代碼:
iptables-save
代碼:
iptables -L
檢查

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Master 節點無法啟動 namenode
文章發表於 : 2015-11-21, 16:36 
離線

註冊時間: 2009-11-09, 19:52
文章: 2886
GGG 寫:
我們在 hdfs-site.xml 輸入以下這段

代碼:
<property>
      <name>dfs.permissions</name>
      <value>false</value>
</property>


Slave1節點上的datanode裡面的tmp/dfs/data有資料了
搜尋 master:50070 後,Slave1節點上的DataNode也有成功開啟


Cool~ 很高興你們找到解法了 :)

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 8 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作