Taiwan Hadoop Forum

各位大神们好啊!
遇到了有些棘手的问题，需要大家帮助解决啊：
1、为什么web UI---master:50030无法访问；
2、为什么web UI---http://master:19888/jobhistory/job/job_1372324441030_0002/无法访问（job_1372324441030_0002已经完成，并在http://master:8088/cluster/apps看到job的信息）
3、为什么在重启hadoop后（不是格式化，./stop-dfs.sh，./stop-yarn.sh>>./start-dfs.sh，./start-yarn.sh），上边已完成的job_1372324441030_0002的job信息在tp://master:8088/cluster/apps没了，消失了？本人不太确定是不是重启hadoop后引起的，因为是前一天下午停止，第二天早上再重启，中间电脑有关机。
如哪位大神能帮助小弟，请联系我QQ：14271237，或是直接在本帖交流，小弟可以提供大神需要的日志。谢谢


我安装的是hadoop0.23.7，已经安装好了，局域网里搭建的：
namenode-------------master
secondarynamenode---master
datanode--------------s1
resourcemanager------master
nodemanager---------s1

hadoop生态系统已经正常运行，wordcount例子跑完，并有正确输出；自己写了个application也能跑完，有结果输出；

web UI:
master:50070正常；
master:8088正常；
s1：50075正常；

master:50030无法显示，提示被拒绝访问（master和s1的防火墙绝对已经关闭）；
http://master:19888/jobhistory/job/job_ ... 1030_0002/无法显示，提示被拒绝访问（master和s1的防火墙绝对已经关闭）；

core-site.xml部分配置：
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

hdfs-site.xml部分配置：
<property>
<name>dfs.federation.nameservices</name>
<value>ns1</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1</name>
<value>master:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1</name>
<value>master:50070</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address.ns1</name>
<value>master:50090</value>
</property>

mapred-site.xml部分配置：
<property>
<name>mapreduce.jobtracker.address</name>
<value>master:9001</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>master:50030</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>

yarn-site.xml部分配置：
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8040</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8141</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>

希望大神们抽空帮我看看啊，我已经在网上海搜过资料了，不知道是我没找到正确方式还是关于hadoop0.23.7这个分支的资料太少，暂时还没有找到正确的方式解决我前面提出的问题。

嗯，我不太確定，可否先請您給 jps 的結果？
採用 hadoop 0.23.7, 很有可能您啟動的是 YARN 而不是 MapReduce v1
就我先前測試 hadoop 2.0 的經驗，ResourceManager 的網頁在 http://master:8080。

總之，如果 jps 出現的不是 JobTracker，而是 ResourceManager，那您用的就是 YARN 而不是 MapReduce v1。
因為兩者只能擇一，所以除非您把 YARN 關掉，改啟用舊版的 MapReduce v1 不然確實不會有 50030 的頁面。

要查這些 java process 開了哪些 port 也可以透過 netstat -nap | grep java 的方式找到。
供參考~

至於 history 的部份，不妨先檢查一下 ${hadoop_home}/logs/history/done 底下有沒有資料。

- Jazz

先谢谢版主大人的耐心解答，经过从提问时间到今天这个时间的研究和摸索，0.23.7经过自己的确认，其job的管理（应该叫applications master了）的web ui已经迁移到master:8088上了，而我访问不了jobhistory是因为我没有使用$HADOOP_HOME/sbin下的mr-jobhistory-daemon.sh start historyserver来启动jobhistory的服务，启动后正常。
0.23.7正常的jps输出结果如下（比较简单的分布式集群，数量很少）：
NameNode：
[root@master sbin]# jps
46639 SecondaryNameNode
47029 Jps
46999 JobHistoryServer
46459 NameNode
46720 ResourceManager

DataNode：
[root@s1 /]# jps
37280 NodeManager
37177 DataNode
37386 Jps

再次谢谢版主大人的解答，谢谢