Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-26, 04:05

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 3 篇文章 ] 
發表人 內容
 文章主題 : 大神们,hadoop0.23.7是不是把master:50030这个web UI给剔除了?
文章發表於 : 2013-06-28, 10:59 
離線

註冊時間: 2013-06-19, 11:03
文章: 2
各位大神们好啊!
遇到了有些棘手的问题,需要大家帮助解决啊:
1、为什么web UI---master:50030无法访问;
2、为什么web UI---http://master:19888/jobhistory/job/job_1372324441030_0002/无法访问(job_1372324441030_0002已经完成,并在http://master:8088/cluster/apps看到job的信息)
3、为什么在重启hadoop后(不是格式化,./stop-dfs.sh,./stop-yarn.sh>>./start-dfs.sh,./start-yarn.sh),上边已完成的job_1372324441030_0002的job信息在tp://master:8088/cluster/apps没了,消失了?本人不太确定是不是重启hadoop后引起的,因为是前一天下午停止,第二天早上再重启,中间电脑有关机。
如哪位大神能帮助小弟,请联系我QQ:14271237,或是直接在本帖交流,小弟可以提供大神需要的日志。谢谢


我安装的是hadoop0.23.7,已经安装好了,局域网里搭建的:
namenode-------------master
secondarynamenode---master
datanode--------------s1
resourcemanager------master
nodemanager---------s1

hadoop生态系统已经正常运行,wordcount例子跑完,并有正确输出;自己写了个application也能跑完,有结果输出;

web UI:
master:50070正常;
master:8088正常;
s1:50075正常;

master:50030无法显示,提示被拒绝访问(master和s1的防火墙绝对已经关闭);
http://master:19888/jobhistory/job/job_ ... 1030_0002/无法显示,提示被拒绝访问(master和s1的防火墙绝对已经关闭);

core-site.xml部分配置:
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

hdfs-site.xml部分配置:
<property>
<name>dfs.federation.nameservices</name>
<value>ns1</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1</name>
<value>master:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1</name>
<value>master:50070</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address.ns1</name>
<value>master:50090</value>
</property>

mapred-site.xml部分配置:
<property>
<name>mapreduce.jobtracker.address</name>
<value>master:9001</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>master:50030</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>

yarn-site.xml部分配置:
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8040</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8141</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>

希望大神们抽空帮我看看啊,我已经在网上海搜过资料了,不知道是我没找到正确方式还是关于hadoop0.23.7这个分支的资料太少,暂时还没有找到正确的方式解决我前面提出的问题。


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 大神们,hadoop0.23.7是不是把master:50030这个web UI给剔除了?
文章發表於 : 2013-06-28, 12:33 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
willnetliu 寫:
各位大神们好啊!
遇到了有些棘手的问题,需要大家帮助解决啊:
1、为什么web UI---master:50030无法访问;
2、为什么web UI---http://master:19888/jobhistory/job/job_1372324441030_0002/无法访问(job_1372324441030_0002已经完成,并在http://master:8088/cluster/apps看到job的信息)
3、为什么在重启hadoop后(不是格式化,./stop-dfs.sh,./stop-yarn.sh>>./start-dfs.sh,./start-yarn.sh),上边已完成的job_1372324441030_0002的job信息在tp://master:8088/cluster/apps没了,消失了?本人不太确定是不是重启hadoop后引起的,因为是前一天下午停止,第二天早上再重启,中间电脑有关机。
如哪位大神能帮助小弟,请联系我QQ:14271237,或是直接在本帖交流,小弟可以提供大神需要的日志。谢谢
我安装的是hadoop0.23.7,已经安装好了,局域网里搭建的:


嗯,我不太確定,可否先請您給 jps 的結果?
採用 hadoop 0.23.7, 很有可能您啟動的是 YARN 而不是 MapReduce v1
就我先前測試 hadoop 2.0 的經驗,ResourceManager 的網頁在 http://master:8080

總之,如果 jps 出現的不是 JobTracker,而是 ResourceManager,那您用的就是 YARN 而不是 MapReduce v1。
因為兩者只能擇一,所以除非您把 YARN 關掉,改啟用舊版的 MapReduce v1 不然確實不會有 50030 的頁面。

要查這些 java process 開了哪些 port 也可以透過 netstat -nap | grep java 的方式找到。
供參考~

至於 history 的部份,不妨先檢查一下 ${hadoop_home}/logs/history/done 底下有沒有資料。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 大神们,hadoop0.23.7是不是把master:50030这个web UI给剔除了?
文章發表於 : 2013-07-17, 17:03 
離線

註冊時間: 2013-06-19, 11:03
文章: 2
jazz 寫:
嗯,我不太確定,可否先請您給 jps 的結果?
採用 hadoop 0.23.7, 很有可能您啟動的是 YARN 而不是 MapReduce v1
就我先前測試 hadoop 2.0 的經驗,ResourceManager 的網頁在 http://master:8080

總之,如果 jps 出現的不是 JobTracker,而是 ResourceManager,那您用的就是 YARN 而不是 MapReduce v1。
因為兩者只能擇一,所以除非您把 YARN 關掉,改啟用舊版的 MapReduce v1 不然確實不會有 50030 的頁面。

要查這些 java process 開了哪些 port 也可以透過 netstat -nap | grep java 的方式找到。
供參考~

至於 history 的部份,不妨先檢查一下 ${hadoop_home}/logs/history/done 底下有沒有資料。

- Jazz


先谢谢版主大人的耐心解答,经过从提问时间到今天这个时间的研究和摸索,0.23.7经过自己的确认,其job的管理(应该叫applications master了)的web ui已经迁移到master:8088上了,而我访问不了jobhistory是因为我没有使用$HADOOP_HOME/sbin下的mr-jobhistory-daemon.sh start historyserver来启动jobhistory的服务,启动后正常。
0.23.7正常的jps输出结果如下(比较简单的分布式集群,数量很少):
NameNode:
[root@master sbin]# jps
46639 SecondaryNameNode
47029 Jps
46999 JobHistoryServer
46459 NameNode
46720 ResourceManager

DataNode:
[root@s1 /]# jps
37280 NodeManager
37177 DataNode
37386 Jps

再次谢谢版主大人的解答,谢谢


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 3 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作