Hadoop-1.2.1 啟動datanode時發生錯誤

pandahead · **註冊時間:** 2014-04-02, 17:18 **文章:** 1

我在VMware下設置了五台ubuntu，一台master四台slave

執行start-all.sh後，發現live ndoe=1，是為master

在master下輸入指令 $jps

代碼:

SecondaryNameNode
DataNode
TaskTracker
NameNode
Jps
JobTracker

slave1~slave4下輸入jps都只有TaskTracker

在master輸入 $hadoop datanode 發現了錯誤

代碼:

14/04/03 02:08:00 INFO common.Storage: Cannot lock storage /tmp/dfs/data. The directory is already locked.
14/04/03 02:08:00 ERROR datanode.DataNode: java.io.IOException: Cannot lock storage /tmp/dfs/data. The directory is already locked.

上網查詢了解決辦法，大致上有三個:

(1)hdfs-site.xml中的dfs.name.dir和dfs.data.dir的路徑設定要不一樣
(2)stop-all.sh，刪除dfs.name.dir與dfs.data.dir中路徑的資料夾，再進行格式化(hadoop namenode -format)，並重新啟動(start-all.sh)
(3)關閉每個節點的防火牆(sudo ufw disable)

我已經將三個步驟都完成，但還是會發生The directory is already locked的問題

因此想請教大家是否有其他的解決辦法?

謝謝

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

pandahead 寫:

在master下輸入指令 $jps

代碼:

SecondaryNameNode
DataNode
TaskTracker
NameNode
Jps
JobTracker

slave1~slave4下輸入jps都只有TaskTracker
在master輸入 $hadoop datanode 發現了錯誤

代碼:

14/04/03 02:08:00 INFO common.Storage: Cannot lock storage /tmp/dfs/data. The directory is already locked.
14/04/03 02:08:00 ERROR datanode.DataNode: java.io.IOException: Cannot lock storage /tmp/dfs/data. The directory is already locked.

上網查詢了解決辦法，大致上有三個:

(1)hdfs-site.xml中的dfs.name.dir和dfs.data.dir的路徑設定要不一樣
(2)stop-all.sh，刪除dfs.name.dir與dfs.data.dir中路徑的資料夾，再進行格式化(hadoop namenode -format)，並重新啟動(start-all.sh)
(3)關閉每個節點的防火牆(sudo ufw disable)

我已經將三個步驟都完成，但還是會發生The directory is already locked的問題
因此想請教大家是否有其他的解決辦法?
謝謝

master 從 jps 來看，已有啟動 DataNode ，所以會有 lock 訊息是正常
請改在 slave1~slave4 執行，並查看 datanode 對應的 log

- Jazz

Taiwan Hadoop Forum

Hadoop-1.2.1 啟動datanode時發生錯誤

誰在線上