Taiwan Hadoop Forum
http://forum.hadoop.tw/

Job Tracker History
http://forum.hadoop.tw/viewtopic.php?f=7&t=38334
1 頁 (共 1 頁)

發表人:  TeaLover [ 2016-07-25, 17:56 ]
文章主題 :  Job Tracker History

因為想保存每個job的task log
上網看了一些資料後
去更改了mapred-site中的參數
參數設定如下
<property>
<name>mapred.userlog.retain.hours</name>
<value>2880</value>
</property>
這樣不是會將log檔保存120天
為什麼我今天去看以前某個job的task log檔,還是被刪除了...

如果想保留每個job的task log檔,該怎麼做?

訊息如下

HTTP ERROR 410

Problem accessing /tasklog. Reason:

Task log directory for task attempt_201607121926_0026_m_000000_0 does not exist. May be cleaned up by Task Tracker, if older logs.

發表人:  jazz [ 2016-07-25, 23:09 ]
文章主題 :  Re: Job Tracker History

TeaLover 寫:
因為想保存每個job的task log
上網看了一些資料後
去更改了mapred-site中的參數
參數設定如下
<property>
<name>mapred.userlog.retain.hours</name>
<value>2880</value>
</property>
這樣不是會將log檔保存120天
為什麼我今天去看以前某個job的task log檔,還是被刪除了...
如果想保留每個job的task log檔,該怎麼做?
訊息如下
HTTP ERROR 410
Problem accessing /tasklog. Reason:
Task log directory for task attempt_201607121926_0026_m_000000_0 does not exist. May be cleaned up by Task Tracker, if older logs.


請問您是跑哪個版本的 Hadoop 呢?
因為 YARN 配合的 History Server 行為會有點不太一樣。

- Jazz

發表人:  TeaLover [ 2016-07-25, 23:30 ]
文章主題 :  Re: Job Tracker History

jazz 寫:
TeaLover 寫:
因為想保存每個job的task log
上網看了一些資料後
去更改了mapred-site中的參數
參數設定如下
<property>
<name>mapred.userlog.retain.hours</name>
<value>2880</value>
</property>
這樣不是會將log檔保存120天
為什麼我今天去看以前某個job的task log檔,還是被刪除了...
如果想保留每個job的task log檔,該怎麼做?
訊息如下
HTTP ERROR 410
Problem accessing /tasklog. Reason:
Task log directory for task attempt_201607121926_0026_m_000000_0 does not exist. May be cleaned up by Task Tracker, if older logs.


請問您是跑哪個版本的 Hadoop 呢?
因為 YARN 配合的 History Server 行為會有點不太一樣。

- Jazz


我是跑1.2.1

發表人:  jazz [ 2016-07-25, 23:31 ]
文章主題 :  Re: Job Tracker History

https://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-common/DeprecatedProperties.html

文件說
代碼:
mapred.userlog.retain.hours
已經 Deprecated,
新的是
代碼:
mapreduce.job.userlog.retain.hours


- Jazz

發表人:  TeaLover [ 2016-07-25, 23:37 ]
文章主題 :  Re: Job Tracker History

jazz 寫:
https://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-common/DeprecatedProperties.html

文件說
代碼:
mapred.userlog.retain.hours
已經 Deprecated,
新的是
代碼:
mapreduce.job.userlog.retain.hours


- Jazz


謝謝jazz,我忘了注意版本問題了

發表人:  jazz [ 2016-07-28, 21:07 ]
文章主題 :  Re: Job Tracker History

TeaLover 寫:
謝謝 jazz,我忘了注意版本問題了


我原本以為你用的是 2.6 (你以前的文章是這個版本)
1.2.1 我就不確定是不是因為版本的緣故。

以前我遇過的是 job 太多,「印象」以前超過 1000 個 Job 就不會再紀錄了。

- Jazz

1 頁 (共 1 頁) 所有顯示的時間為 UTC + 8 小時
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/