| Taiwan Hadoop Forum http://forum.hadoop.tw/ |
|
| namenode 忽然開不起來 http://forum.hadoop.tw/viewtopic.php?f=4&t=38306 |
第 1 頁 (共 1 頁) |
| 發表人: | GGG [ 2016-02-17, 16:40 ] |
| 文章主題 : | namenode 忽然開不起來 |
namenode過個年後就無法開啟 所遇到的問題如下 Call From Master/192.168.10.1 to Master:9000 failed on connection exception: java.net.ConnectException: 連線被拒絕 因為我們在網路上找相關發現 幾乎都是hadoop.tmp.dir的問題 我們也依照網路上的方法有設置hadoop.tmp.dir 因此我們的core-site.xml的配置如下 代碼: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://Master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> </configuration> 導致要進行格式化namenode 才會出現namenode 但是這樣會導致我們先前儲存在hdfs的資料遺失 所以想請教各位大大有甚麼方法可以解決我們的問題 非常感謝Q_Q 補充一下我們的namenode的log 代碼: NameNode can't start, and the bug is following:
WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/local/hadoop/tmp/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration. WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories! WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage java.io.IOException: Failed to load an FSImage file! WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false. |
|
| 發表人: | jazz [ 2016-02-28, 19:38 ] |
| 文章主題 : | Re: namenode 忽然開不起來 |
無法連線跟 192.168.10.1 這台的 NameNode 有沒有正常開啟有關。 原本的 hadoop.tmp.dir 是設定在 /tmp 底下？ （如果過年前沒有設定 hadoop.tmp.dir ，預設是 /tmp，在某些作業系統中，會再重開機時被清除） 就要看 /tmp 底下有沒有留下歷史 NameNode 的 fsImage 跟 edits 了 您提供的 Log 看到的都是 WARN (警告)，有沒有其他歷史 Log 檔可以看？ - Jazz GGG 寫: namenode過個年後就無法開啟
所遇到的問題如下 Call From Master/192.168.10.1 to Master:9000 failed on connection exception: java.net.ConnectException: 連線被拒絕 因為我們在網路上找相關發現 幾乎都是hadoop.tmp.dir的問題 我們也依照網路上的方法有設置hadoop.tmp.dir 因此我們的core-site.xml的配置如下 代碼: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://Master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> </configuration> 導致要進行格式化namenode 才會出現namenode 但是這樣會導致我們先前儲存在hdfs的資料遺失 所以想請教各位大大有甚麼方法可以解決我們的問題 非常感謝Q_Q 補充一下我們的namenode的log 代碼: NameNode can't start, and the bug is following: WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/local/hadoop/tmp/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration. WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories! WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage java.io.IOException: Failed to load an FSImage file! WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false. |
|
| 發表人: | GGG [ 2016-03-17, 16:51 ] |
| 文章主題 : | Re: namenode 忽然開不起來 |
謝謝 jazz 的回覆 繼續DEBUG |
|
| 第 1 頁 (共 1 頁) | 所有顯示的時間為 UTC + 8 小時 |
| Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group http://www.phpbb.com/ |
|