Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-08-13, 22:31

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : Hadoop-1.2.1 啟動datanode時發生錯誤
文章發表於 : 2014-04-03, 17:48 
離線

註冊時間: 2014-04-02, 17:18
文章: 1
我在VMware下設置了五台ubuntu,一台master四台slave

執行start-all.sh後,發現live ndoe=1,是為master

在master下輸入指令 $jps

代碼:
8771 SecondaryNameNode
18620 DataNode
19024 TaskTracker
18457 NameNode
19395 Jps
18866 JobTracker


slave1~slave4下輸入jps都只有TaskTracker

在master輸入 $hadoop datanode 發現了錯誤

代碼:
14/04/03 02:08:00 INFO common.Storage: Cannot lock storage /tmp/dfs/data. The directory is already locked.
14/04/03 02:08:00 ERROR datanode.DataNode: java.io.IOException: Cannot lock storage /tmp/dfs/data. The directory is already locked.


上網查詢了解決辦法,大致上有三個:

(1)hdfs-site.xml中的dfs.name.dir和dfs.data.dir的路徑設定要不一樣
(2)stop-all.sh,刪除dfs.name.dir與dfs.data.dir中路徑的資料夾,再進行格式化(hadoop namenode -format),並重新啟動(start-all.sh)
(3)關閉每個節點的防火牆(sudo ufw disable)

我已經將三個步驟都完成,但還是會發生The directory is already locked的問題

因此想請教大家是否有其他的解決辦法?

謝謝


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Hadoop-1.2.1 啟動datanode時發生錯誤
文章發表於 : 2014-04-03, 23:25 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
pandahead 寫:
在master下輸入指令 $jps
代碼:
8771 SecondaryNameNode
18620 DataNode
19024 TaskTracker
18457 NameNode
19395 Jps
18866 JobTracker

slave1~slave4下輸入jps都只有TaskTracker
在master輸入 $hadoop datanode 發現了錯誤
代碼:
14/04/03 02:08:00 INFO common.Storage: Cannot lock storage /tmp/dfs/data. The directory is already locked.
14/04/03 02:08:00 ERROR datanode.DataNode: java.io.IOException: Cannot lock storage /tmp/dfs/data. The directory is already locked.


上網查詢了解決辦法,大致上有三個:

(1)hdfs-site.xml中的dfs.name.dir和dfs.data.dir的路徑設定要不一樣
(2)stop-all.sh,刪除dfs.name.dir與dfs.data.dir中路徑的資料夾,再進行格式化(hadoop namenode -format),並重新啟動(start-all.sh)
(3)關閉每個節點的防火牆(sudo ufw disable)

我已經將三個步驟都完成,但還是會發生The directory is already locked的問題
因此想請教大家是否有其他的解決辦法?
謝謝


master 從 jps 來看,已有啟動 DataNode ,所以會有 lock 訊息是正常
請改在 slave1~slave4 執行,並查看 datanode 對應的 log

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作