Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2017-06-27, 13:21

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 11 篇文章 ]  前往頁數 12  下一頁
發表人 內容
 文章主題 : 请问nchc的cluster是否保存hadoop job的logs
文章發表於 : 2013-06-16, 04:27 
離線

註冊時間: 2012-11-25, 02:56
文章: 6
通常是在$HADOOP_HOME/log/history/目录下可以找到。
现在该目录下只有关于job的configuration和checksum文件,但是没有job完成后记录各种statistics的log。

谢谢


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 请问nchc的cluster是否保存hadoop job的logs
文章發表於 : 2013-06-17, 00:51 
離線

註冊時間: 2009-11-09, 19:52
文章: 2894
farseeing 寫:
通常是在$HADOOP_HOME/log/history/目录下可以找到。
现在该目录下只有关于job的configuration和checksum文件,但是没有job完成后记录各种statistics的log。
谢谢


通常一段時間之後,Hadoop 就會自動清掉一些歷史 log 資訊。
您想要的是類似 http://hadoop.nchc.org.tw:50030/jobdetailshistory.jsp?jobid=job_201305240052_0001&logFile=file:/var/log/hadoop/history/done/hadoop.nchc.org.tw_1369327935774_job_201305240052_0001_h3564_word%2Bcount
這種資料?

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 请问nchc的cluster是否保存hadoop job的logs
文章發表於 : 2013-06-17, 09:18 
離線

註冊時間: 2012-11-25, 02:56
文章: 6
谢谢Jazz版大的回复。
是的,我需要的正是这样的日志,在哪个目录下可以找到自己提交运行完的job的日志呢?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 请问nchc的cluster是否保存hadoop job的logs
文章發表於 : 2013-06-17, 10:31 
離線

註冊時間: 2009-11-09, 19:52
文章: 2894
farseeing 寫:
谢谢Jazz版大的回复。
是的,我需要的正是这样的日志,在哪个目录下可以找到自己提交运行完的job的日志呢?


建議先從 http://hadoop.nchc.org.tw:50030/jobhistory.jsp 尋找您自己提交的 Job 日誌統計。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 请问nchc的cluster是否保存hadoop job的logs
文章發表於 : 2013-06-17, 10:52 
離線

註冊時間: 2012-11-25, 02:56
文章: 6
是不是存放logs的目录已满,有的log没存下来。根据所给链接得到的log最新的那个是job_201305291422_0836,而当前集群最新完成的job是job_201305291422_2356,中间已经差了一千多个job了。


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 请问nchc的cluster是否保存hadoop job的logs
文章發表於 : 2013-06-17, 11:35 
離線

註冊時間: 2009-11-09, 19:52
文章: 2894
farseeing 寫:
是不是存放logs的目录已满,有的log没存下来。根据所给链接得到的log最新的那个是job_201305291422_0836,而当前集群最新完成的job是job_201305291422_2356,中间已经差了一千多个job了。


確實差很多,查過存放 log 的路徑並沒有滿。但 history 的部份應該是有 process 在負責搬運。
不確定是否是 Secondary NameNode 在負責這件事情,剛查了一下,NN, JT, DN, TT 都在,但 SNN 不在。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 请问nchc的cluster是否保存hadoop job的logs
文章發表於 : 2013-06-17, 23:49 
離線

註冊時間: 2012-11-25, 02:56
文章: 6
新的job的log还是没有被保存。
我猜可能应该是之前保存log的目录出现过空间不够的情况,所以jobtracker自动停止了保存job logs的功能。之后清理掉部分logs或者增加空间之后,没有重启job tracker,这样就导致了新的logs仍旧无法生成。
麻烦Jazz版大帮忙确认一下是否是这个原因,导致/var/log/hadoop/history/done目录下没有新job的statistics log,谢谢。


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 请问nchc的cluster是否保存hadoop job的logs
文章發表於 : 2013-06-18, 12:04 
離線

註冊時間: 2009-11-09, 19:52
文章: 2894
farseeing 寫:
新的job的log还是没有被保存。
我猜可能应该是之前保存log的目录出现过空间不够的情况,所以jobtracker自动停止了保存job logs的功能。之后清理掉部分logs或者增加空间之后,没有重启job tracker,这样就导致了新的logs仍旧无法生成。
麻烦Jazz版大帮忙确认一下是否是这个原因,导致/var/log/hadoop/history/done目录下没有新job的statistics log,谢谢。


重新啟動了 JobTracker,新提交的 Job 有出現了,但舊的沒有出現。
正在從原始碼追蹤背後的流程

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 请问nchc的cluster是否保存hadoop job的logs
文章發表於 : 2013-06-18, 13:42 
離線

註冊時間: 2012-11-25, 02:56
文章: 6
嗯,之前那一段时间jobtracker没有记录job的log,所以那些job的log就没了。


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 请问nchc的cluster是否保存hadoop job的logs
文章發表於 : 2013-06-18, 13:59 
離線

註冊時間: 2012-11-25, 02:56
文章: 6
原因我觉得可能是在cloudera的这个版本中没有fixed MAPREDUCE-1699这个bug。
https://issues.apache.org/jira/browse/MAPREDUCE-1699


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 11 篇文章 ]  前往頁數 12  下一頁

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作