Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-08-16, 18:00

檢視沒有回覆的主題 | 檢視最近討論的主題


討論區首頁 » 技術討論區 » hadoop 安裝與設定

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  第 1 頁 (共 1 頁)
  [ 10 篇文章 ] 
  列印模式 上一個主題 | 下一個主題 
發表人 內容
will.chen
 文章主題 : 叢集Cluster啟動datanode--Problem connecting to server
文章發表於 : 2014-12-23, 12:23 
離線

註冊時間: 2014-12-23, 12:07
文章: 5
於虛擬機上配置master與slave1，但在啟動時發現datanode有個錯誤無法正常連到server如下，但master的port9000已開通：
代碼:
WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: master/192.168.121.128:9000

而完整紀錄為：
代碼:
2014-12-23 03:52:57,347 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Number threads for balancing is 5
2014-12-23 03:52:57,440 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
2014-12-23 03:52:57,442 INFO org.apache.hadoop.http.HttpRequestLog: Http request log for http.requests.datanode is not defined
2014-12-23 03:52:57,454 INFO org.apache.hadoop.http.HttpServer2: Added global filter 'safety' (class=org.apache.hadoop.http.HttpServer2$QuotingInputFilter)
2014-12-23 03:52:57,455 INFO org.apache.hadoop.http.HttpServer2: Added filter static_user_filter (class=org.apache.hadoop.http.lib.StaticUserWebFilter$StaticUserFilter) to context datanode
2014-12-23 03:52:57,456 INFO org.apache.hadoop.http.HttpServer2: Added filter static_user_filter (class=org.apache.hadoop.http.lib.StaticUserWebFilter$StaticUserFilter) to context logs
2014-12-23 03:52:57,456 INFO org.apache.hadoop.http.HttpServer2: Added filter static_user_filter (class=org.apache.hadoop.http.lib.StaticUserWebFilter$StaticUserFilter) to context static
2014-12-23 03:52:57,476 INFO org.apache.hadoop.http.HttpServer2: addJerseyResourcePackage: packageName=org.apache.hadoop.hdfs.server.datanode.web.resources;org.apache.hadoop.hdfs.web.resources, pathSpec=/webhdfs/v1/*
2014-12-23 03:52:57,482 INFO org.apache.hadoop.http.HttpServer2: Jetty bound to port 50075
2014-12-23 03:52:57,482 INFO org.mortbay.log: jetty-6.1.26
2014-12-23 03:52:57,850 INFO org.mortbay.log: Started HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:50075
2014-12-23 03:52:58,093 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: dnUserName = root
2014-12-23 03:52:58,093 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: supergroup = supergroup
2014-12-23 03:52:58,163 INFO org.apache.hadoop.ipc.CallQueueManager: Using callQueue class java.util.concurrent.LinkedBlockingQueue
2014-12-23 03:52:58,175 INFO org.apache.hadoop.ipc.Server: Starting Socket Reader #1 for port 50020
2014-12-23 03:52:58,220 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Opened IPC server at /0.0.0.0:50020
2014-12-23 03:52:58,232 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Refresh request received for nameservices: null
2014-12-23 03:52:58,246 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Starting BPOfferServices for nameservices: <default>
2014-12-23 03:52:58,257 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool <registering> (Datanode Uuid unassigned) service to master/192.168.121.128:9000 starting to offer service
2014-12-23 03:52:58,264 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2014-12-23 03:52:58,265 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 50020: starting
2014-12-23 03:52:58,404 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: master/192.168.121.128:9000

煩請各位大大幫忙解答，謝謝
回頂端
 個人資料 E-mail  
 
jazz
 文章主題 : Re: 叢集Cluster啟動datanode--Problem connecting to server
文章發表於 : 2014-12-24, 22:21 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
will.chen 寫:
於虛擬機上配置master與slave1，但在啟動時發現datanode有個錯誤無法正常連到server如下，但master的port9000已開通：
代碼:
WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: master/192.168.121.128:9000

煩請各位大大幫忙解答，謝謝


請在 master 上執行以下指令，並回報結果，謝謝～
代碼:
netstat -nlp | grep 9000


- Jazz
回頂端
 個人資料 E-mail  
 
will.chen
 文章主題 : Re: 叢集Cluster啟動datanode--Problem connecting to server
文章發表於 : 2014-12-25, 17:33 
離線

註冊時間: 2014-12-23, 12:07
文章: 5
訊息如下，謝謝：
代碼:
hduser@master:/usr/local/hadoop/etc/hadoop$ sudo netstat -nlp | grep 9000
tcp        0      0 192.168.121.128:9000    0.0.0.0:*               LISTEN      52501/java
回頂端
 個人資料 E-mail  
 
jazz
 文章主題 : Re: 叢集Cluster啟動datanode--Problem connecting to server
文章發表於 : 2014-12-25, 18:26 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
will.chen 寫:
訊息如下，謝謝：
代碼:
hduser@master:/usr/local/hadoop/etc/hadoop$ sudo netstat -nlp | grep 9000
tcp        0      0 192.168.121.128:9000    0.0.0.0:*               LISTEN      52501/java


上述的訊息等級是 WARN 不是 ERROR
請問 http://192.168.121.128:50070 有看到幾個 DataNode ，Live Node 個數為多少？

安裝的 Linux 版本為？是否關閉防火牆？

- Jazz
回頂端
 個人資料 E-mail  
 
will.chen
 文章主題 : Re: 叢集Cluster啟動datanode--Problem connecting to server
文章發表於 : 2014-12-25, 21:42 
離線

註冊時間: 2014-12-23, 12:07
文章: 5
安裝的作業系統為ubuntu 14.04,DataNode ，Live Node皆為0，防火牆的部分允許port 9000進出，有關掉過但仍然一樣，slave1 ip為172.17.0.2，是否是網路設定而造成的?
回頂端
 個人資料 E-mail  
 
jazz
 文章主題 : Re: 叢集Cluster啟動datanode--Problem connecting to server
文章發表於 : 2014-12-26, 13:52 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
will.chen 寫:
安裝的作業系統為ubuntu 14.04,DataNode ，Live Node皆為0，防火牆的部分允許port 9000進出，有關掉過但仍然一樣，slave1 ip為172.17.0.2，是否是網路設定而造成的?


172.17.0.2 這台 ping 得到 192.168.121.128 ?
192.168.121.128 這台 ping 得到 172.17.0.2 ?

Live Node 為 0，意味著 Master 自己沒有起 DataNode ?

我曾試過在 AWS EC2 上架叢集，也遇過網段不同的情形，但可以順利架起來。
所以前提是必須確保雙向互連。

- Jazz
回頂端
 個人資料 E-mail  
 
will.chen
 文章主題 : Re: 叢集Cluster啟動datanode--Problem connecting to server
文章發表於 : 2014-12-26, 16:45 
離線

註冊時間: 2014-12-23, 12:07
文章: 5
從172.17.0.2 這台是可以ping 的到 192.168.121.128沒問題
那麼是否跟username有關呢?兩台分別如下：
hduser@master
root@slave1
使用的hadoop版本是2.6.0。
回頂端
 個人資料 E-mail  
 
jazz
 文章主題 : Re: 叢集Cluster啟動datanode--Problem connecting to server
文章發表於 : 2014-12-26, 22:56 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
will.chen 寫:
從172.17.0.2 這台是可以ping 的到 192.168.121.128沒問題
那麼是否跟username有關呢?兩台分別如下：
hduser@master
root@slave1
使用的hadoop版本是2.6.0。


反向呢？192.168.121.128 可以 ping 得到 172.17.0.2 ？

目前的資訊並沒有看到跟『權限』有關的錯誤，身份的影響不大。當然，叢集環境能一致會比較好管。

- Jazz
回頂端
 個人資料 E-mail  
 
will.chen
 文章主題 : Re: 叢集Cluster啟動datanode--Problem connecting to server
文章發表於 : 2014-12-29, 09:08 
離線

註冊時間: 2014-12-23, 12:07
文章: 5
謝謝，問題已解決。
後來去查看namenode的log發現如下資訊：
代碼:
INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 9000, call org.apache.hadoop.hdfs.server.protocol.DatanodeProtocol.versionRequest from 172.17.0.3:60122 Call#8 Retry#0: org.apache.hadoop.security.AccessControlException: Access denied for user root. Superuser privilege is required

因此就修改hdfs-site.xml，將權限檢查關閉。
代碼:
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

但仍不明白真正原因，namenode上的資料夾擁有者是hduser:hadoop，而datanode則是以root身分去執行。
回頂端
 個人資料 E-mail  
 
jazz
 文章主題 : Re: 叢集Cluster啟動datanode--Problem connecting to server
文章發表於 : 2015-01-24, 10:53 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
will.chen 寫:
謝謝，問題已解決。
但仍不明白真正原因，namenode上的資料夾擁有者是hduser:hadoop，而datanode則是以root身分去執行。


一般叢集環境會維持 uid 與 gid 的設定一致，否則比較容易遇到權限上的問題。
因此，最好還是使用相同的帳號執行會比較好。

- Jazz
回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  第 1 頁 (共 1 頁)
  [ 10 篇文章 ] 

討論區首頁 » 技術討論區 » hadoop 安裝與設定

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者：沒有註冊會員 和 1 位訪客

您 不能 在這個版面發表主題
您 不能 在這個版面回覆主題
您 不能 在這個版面編輯您的文章
您 不能 在這個版面刪除您的文章
您 不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作