Taiwan Hadoop Forum
http://forum.hadoop.tw/

namenode 忽然開不起來
http://forum.hadoop.tw/viewtopic.php?f=4&t=38306
1 頁 (共 1 頁)

發表人:  GGG [ 2016-02-17, 16:40 ]
文章主題 :  namenode 忽然開不起來

namenode過個年後就無法開啟

所遇到的問題如下
Call From Master/192.168.10.1 to Master:9000 failed on connection exception: java.net.ConnectException: 連線被拒絕

因為我們在網路上找相關發現
幾乎都是hadoop.tmp.dir的問題
我們也依照網路上的方法有設置hadoop.tmp.dir

因此我們的core-site.xml的配置如下

代碼:
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>
</configuration>


導致要進行格式化namenode
才會出現namenode
但是這樣會導致我們先前儲存在hdfs的資料遺失

所以想請教各位大大有甚麼方法可以解決我們的問題 非常感謝Q_Q

補充一下我們的namenode的log
代碼:
NameNode can't start, and the bug is following:
WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/local/hadoop/tmp/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories!
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: Failed to load an FSImage file!
WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false.

發表人:  jazz [ 2016-02-28, 19:38 ]
文章主題 :  Re: namenode 忽然開不起來

無法連線跟 192.168.10.1 這台的 NameNode 有沒有正常開啟有關。
原本的 hadoop.tmp.dir 是設定在 /tmp 底下?
(如果過年前沒有設定 hadoop.tmp.dir ,預設是 /tmp,在某些作業系統中,會再重開機時被清除)
就要看 /tmp 底下有沒有留下歷史 NameNode 的 fsImage 跟 edits 了

您提供的 Log 看到的都是 WARN (警告),有沒有其他歷史 Log 檔可以看?

- Jazz

GGG 寫:
namenode過個年後就無法開啟

所遇到的問題如下
Call From Master/192.168.10.1 to Master:9000 failed on connection exception: java.net.ConnectException: 連線被拒絕

因為我們在網路上找相關發現
幾乎都是hadoop.tmp.dir的問題
我們也依照網路上的方法有設置hadoop.tmp.dir

因此我們的core-site.xml的配置如下

代碼:
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>
</configuration>


導致要進行格式化namenode
才會出現namenode
但是這樣會導致我們先前儲存在hdfs的資料遺失

所以想請教各位大大有甚麼方法可以解決我們的問題 非常感謝Q_Q

補充一下我們的namenode的log
代碼:
NameNode can't start, and the bug is following:
WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/local/hadoop/tmp/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories!
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: Failed to load an FSImage file!
WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false.

發表人:  GGG [ 2016-03-17, 16:51 ]
文章主題 :  Re: namenode 忽然開不起來

謝謝 jazz 的回覆 繼續DEBUG

1 頁 (共 1 頁) 所有顯示的時間為 UTC + 8 小時
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/