Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2017-07-20, 20:34

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 3 篇文章 ] 
發表人 內容
 文章主題 : namenode 忽然開不起來
文章發表於 : 2016-02-17, 16:40 
離線

註冊時間: 2015-11-10, 00:43
文章: 16
namenode過個年後就無法開啟

所遇到的問題如下
Call From Master/192.168.10.1 to Master:9000 failed on connection exception: java.net.ConnectException: 連線被拒絕

因為我們在網路上找相關發現
幾乎都是hadoop.tmp.dir的問題
我們也依照網路上的方法有設置hadoop.tmp.dir

因此我們的core-site.xml的配置如下

代碼:
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>
</configuration>


導致要進行格式化namenode
才會出現namenode
但是這樣會導致我們先前儲存在hdfs的資料遺失

所以想請教各位大大有甚麼方法可以解決我們的問題 非常感謝Q_Q

補充一下我們的namenode的log
代碼:
NameNode can't start, and the bug is following:
WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/local/hadoop/tmp/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories!
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: Failed to load an FSImage file!
WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false.


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: namenode 忽然開不起來
文章發表於 : 2016-02-28, 19:38 
離線

註冊時間: 2009-11-09, 19:52
文章: 2894
無法連線跟 192.168.10.1 這台的 NameNode 有沒有正常開啟有關。
原本的 hadoop.tmp.dir 是設定在 /tmp 底下?
(如果過年前沒有設定 hadoop.tmp.dir ,預設是 /tmp,在某些作業系統中,會再重開機時被清除)
就要看 /tmp 底下有沒有留下歷史 NameNode 的 fsImage 跟 edits 了

您提供的 Log 看到的都是 WARN (警告),有沒有其他歷史 Log 檔可以看?

- Jazz

GGG 寫:
namenode過個年後就無法開啟

所遇到的問題如下
Call From Master/192.168.10.1 to Master:9000 failed on connection exception: java.net.ConnectException: 連線被拒絕

因為我們在網路上找相關發現
幾乎都是hadoop.tmp.dir的問題
我們也依照網路上的方法有設置hadoop.tmp.dir

因此我們的core-site.xml的配置如下

代碼:
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>
</configuration>


導致要進行格式化namenode
才會出現namenode
但是這樣會導致我們先前儲存在hdfs的資料遺失

所以想請教各位大大有甚麼方法可以解決我們的問題 非常感謝Q_Q

補充一下我們的namenode的log
代碼:
NameNode can't start, and the bug is following:
WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/local/hadoop/tmp/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories!
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: Failed to load an FSImage file!
WARN org.apache.hadoop.http.HttpServer2: HttpServer Acceptor: isRunning is false.


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: namenode 忽然開不起來
文章發表於 : 2016-03-17, 16:51 
離線

註冊時間: 2015-11-10, 00:43
文章: 16
謝謝 jazz 的回覆 繼續DEBUG


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 3 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作