Taiwan Hadoop Forum

通常是在$HADOOP_HOME/log/history/目录下可以找到。
现在该目录下只有关于job的configuration和checksum文件，但是没有job完成后记录各种statistics的log。

谢谢

通常一段時間之後，Hadoop 就會自動清掉一些歷史 log 資訊。
您想要的是類似 http://hadoop.nchc.org.tw:50030/jobdetailshistory.jsp?jobid=job_201305240052_0001&logFile=file:/var/log/hadoop/history/done/hadoop.nchc.org.tw_1369327935774_job_201305240052_0001_h3564_word%2Bcount
這種資料？

- Jazz

谢谢Jazz版大的回复。
是的，我需要的正是这样的日志，在哪个目录下可以找到自己提交运行完的job的日志呢？

建議先從 http://hadoop.nchc.org.tw:50030/jobhistory.jsp 尋找您自己提交的 Job 日誌統計。

- Jazz

是不是存放logs的目录已满，有的log没存下来。根据所给链接得到的log最新的那个是job_201305291422_0836，而当前集群最新完成的job是job_201305291422_2356，中间已经差了一千多个job了。

確實差很多，查過存放 log 的路徑並沒有滿。但 history 的部份應該是有 process 在負責搬運。
不確定是否是 Secondary NameNode 在負責這件事情，剛查了一下，NN, JT, DN, TT 都在，但 SNN 不在。

- Jazz

新的job的log还是没有被保存。
我猜可能应该是之前保存log的目录出现过空间不够的情况，所以jobtracker自动停止了保存job logs的功能。之后清理掉部分logs或者增加空间之后，没有重启job tracker，这样就导致了新的logs仍旧无法生成。
麻烦Jazz版大帮忙确认一下是否是这个原因，导致/var/log/hadoop/history/done目录下没有新job的statistics log,谢谢。

重新啟動了 JobTracker，新提交的 Job 有出現了，但舊的沒有出現。
正在從原始碼追蹤背後的流程

- Jazz

嗯，之前那一段时间jobtracker没有记录job的log，所以那些job的log就没了。

原因我觉得可能是在cloudera的这个版本中没有fixed MAPREDUCE-1699这个bug。
https://issues.apache.org/jira/browse/MAPREDUCE-1699