Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-01, 16:21

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 14 篇文章 ]  前往頁數 上一頁  12
發表人 內容
 文章主題 : Re: Nodes數為0還有50070無法開啟?
文章發表於 : 2013-10-23, 22:24 
離線

註冊時間: 2013-03-22, 20:28
文章: 26
jazz 寫:
看不出錯誤。

倒是 NameNode 怎麼最後的訊息是停止?您下指令把 NameNode 關掉嘛?

- Jazz

是的,我的確是關掉後再貼上來!


我後來發現我只要單純安裝hadoop叢集就可以正常出現2個node

但是後來我要建立eclipse用的plugin時

我是使用這個網頁上的做法http://www.oschina.net/question/256028_110890

我在Host01把一些檔案修改完,輸入指令ant compile和ant jar建完plugin後

再使用start-all.sh開啟Hadoop就會少了Host02的datanode :o

所以說是我的建立方法不對嗎? 還是這篇教學其實有錯誤呢?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Nodes數為0還有50070無法開啟?
文章發表於 : 2013-10-24, 23:23 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
RED 寫:
我在Host01把一些檔案修改完,輸入指令ant compile和ant jar建完plugin後
再使用start-all.sh開啟Hadoop就會少了Host02的datanode :o
所以說是我的建立方法不對嗎? 還是這篇教學其實有錯誤呢?


一般我做編譯 eclipse plugin 的環境不會跟執行中的環境混用,所以沒遇過您提到的問題耶。
也許因為在 Host01 編譯之後,產生的 jar 檔,跟在 Host02 不同,所以造成了一些不相容的問題。
但您先前提供的 log 又沒有包含 Error,就很難斷定原因。

您提到只有 Host02 的 DataNode 起不來,要判斷這個問題,要看 Host02 的 DataNode Log
前文提供的是 Host01 的 DataNode Log (因為正常,所以也沒看到錯誤)。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Nodes數為0還有50070無法開啟?
文章發表於 : 2013-10-25, 13:50 
離線

註冊時間: 2013-03-22, 20:28
文章: 26
jazz 寫:
一般我做編譯 eclipse plugin 的環境不會跟執行中的環境混用,所以沒遇過您提到的問題耶。
也許因為在 Host01 編譯之後,產生的 jar 檔,跟在 Host02 不同,所以造成了一些不相容的問題。
但您先前提供的 log 又沒有包含 Error,就很難斷定原因。

您提到只有 Host02 的 DataNode 起不來,要判斷這個問題,要看 Host02 的 DataNode Log
前文提供的是 Host01 的 DataNode Log (因為正常,所以也沒看到錯誤)。

- Jazz

非常不好意思,這我疏忽掉了 :oops:
立刻附上Host02_Datanode的log
代碼:
2013-10-25 13:39:03,767 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = Host02/140.129.25.137
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.2.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:   java = 1.7.0_45
************************************************************/
2013-10-25 13:39:04,720 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2013-10-25 13:39:04,778 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2013-10-25 13:39:04,779 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2013-10-25 13:39:04,779 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2013-10-25 13:39:05,384 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2013-10-25 13:39:05,402 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2013-10-25 13:39:10,623 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Shutting down. Incompatible version or revision.DataNode version '1.2.1' and revision '1503152' and NameNode version '1.2.1' and revision ' and hadoop.relaxed.worker.version.check is not enabled and hadoop.skip.worker.version.check is not enabled
2013-10-25 13:39:10,832 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Shutting down. Incompatible version or revision.DataNode version '1.2.1' and revision '1503152' and NameNode version '1.2.1' and revision ' and hadoop.relaxed.worker.version.check is not enabled and hadoop.skip.worker.version.check is not enabled
   at org.apache.hadoop.hdfs.server.datanode.DataNode.handshake(DataNode.java:671)
   at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:391)
   at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:321)
   at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1712)
   at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1651)
   at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1669)
   at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1795)
   at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1812)

2013-10-25 13:39:10,834 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at Host02/140.129.25.137
************************************************************/


至於jazz大大說一般做編譯 eclipse plugin 的環境不會跟執行中的環境混用
那麼我可以在別台機器上編譯,再把編譯出來的jar檔給原本的機器上使用嗎?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Nodes數為0還有50070無法開啟?
文章發表於 : 2013-10-25, 15:09 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
RED 寫:
立刻附上Host02_Datanode的log
代碼:
2013-10-25 13:39:10,623 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Shutting down. Incompatible version or revision.DataNode version '1.2.1' and revision '1503152' and NameNode version '1.2.1' and revision ' and hadoop.relaxed.worker.version.check is not enabled and hadoop.skip.worker.version.check is not enabled
2013-10-25 13:39:10,832 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Shutting down. Incompatible version or revision.DataNode version '1.2.1' and revision '1503152' and NameNode version '1.2.1' and revision ' and hadoop.relaxed.worker.version.check is not enabled and hadoop.skip.worker.version.check is not enabled

至於jazz大大說一般做編譯 eclipse plugin 的環境不會跟執行中的環境混用
那麼我可以在別台機器上編譯,再把編譯出來的jar檔給原本的機器上使用嗎?


1. 錯誤訊息顯示「DataNode 版本與 NameNode 不符」,所以應該就是因為您在 Host01 上下 Ant 編譯後,Host01 的版本改了 XD
2. 只要編譯的 Hadoop 版本與 NameNode 相符,放到不同的主機(Ex. Windows)應該也是 OK。
最近測試了一下 Windoop,Windows Eclipse 1.0.3 plugin 的可以連上 1.0.4 的 Ubuntu Linux NameNode
或許您也可以試試看 1.2.x 的版本。http://code.google.com/p/windoop/downloads/list

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 14 篇文章 ]  前往頁數 上一頁  12

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作