| Taiwan Hadoop Forum http://forum.hadoop.tw/ |
|
| Job Tracker History http://forum.hadoop.tw/viewtopic.php?f=7&t=38334 |
第 1 頁 (共 1 頁) |
| 發表人: | TeaLover [ 2016-07-25, 17:56 ] |
| 文章主題 : | Job Tracker History |
因為想保存每個job的task log 上網看了一些資料後 去更改了mapred-site中的參數 參數設定如下 <property> <name>mapred.userlog.retain.hours</name> <value>2880</value> </property> 這樣不是會將log檔保存120天 為什麼我今天去看以前某個job的task log檔，還是被刪除了... 如果想保留每個job的task log檔，該怎麼做? 訊息如下 HTTP ERROR 410 Problem accessing /tasklog. Reason: Task log directory for task attempt_201607121926_0026_m_000000_0 does not exist. May be cleaned up by Task Tracker, if older logs. |
|
| 發表人: | jazz [ 2016-07-25, 23:09 ] |
| 文章主題 : | Re: Job Tracker History |
TeaLover 寫: 因為想保存每個job的task log 上網看了一些資料後 去更改了mapred-site中的參數 參數設定如下 <property> <name>mapred.userlog.retain.hours</name> <value>2880</value> </property> 這樣不是會將log檔保存120天 為什麼我今天去看以前某個job的task log檔，還是被刪除了... 如果想保留每個job的task log檔，該怎麼做? 訊息如下 HTTP ERROR 410 Problem accessing /tasklog. Reason: Task log directory for task attempt_201607121926_0026_m_000000_0 does not exist. May be cleaned up by Task Tracker, if older logs. 請問您是跑哪個版本的 Hadoop 呢？ 因為 YARN 配合的 History Server 行為會有點不太一樣。 - Jazz |
|
| 發表人: | TeaLover [ 2016-07-25, 23:30 ] |
| 文章主題 : | Re: Job Tracker History |
jazz 寫: TeaLover 寫: 因為想保存每個job的task log 上網看了一些資料後 去更改了mapred-site中的參數 參數設定如下 <property> <name>mapred.userlog.retain.hours</name> <value>2880</value> </property> 這樣不是會將log檔保存120天 為什麼我今天去看以前某個job的task log檔，還是被刪除了... 如果想保留每個job的task log檔，該怎麼做? 訊息如下 HTTP ERROR 410 Problem accessing /tasklog. Reason: Task log directory for task attempt_201607121926_0026_m_000000_0 does not exist. May be cleaned up by Task Tracker, if older logs. 請問您是跑哪個版本的 Hadoop 呢？ 因為 YARN 配合的 History Server 行為會有點不太一樣。 - Jazz 我是跑1.2.1 |
|
| 發表人: | jazz [ 2016-07-25, 23:31 ] |
| 文章主題 : | Re: Job Tracker History |
https://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-common/DeprecatedProperties.html 文件說 代碼: mapred.userlog.retain.hours 已經 Deprecated，新的是 代碼: mapreduce.job.userlog.retain.hours - Jazz |
|
| 發表人: | TeaLover [ 2016-07-25, 23:37 ] |
| 文章主題 : | Re: Job Tracker History |
jazz 寫: https://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-common/DeprecatedProperties.html 文件說 代碼: mapred.userlog.retain.hours 已經 Deprecated，新的是 代碼: mapreduce.job.userlog.retain.hours - Jazz 謝謝jazz，我忘了注意版本問題了 |
|
| 發表人: | jazz [ 2016-07-28, 21:07 ] |
| 文章主題 : | Re: Job Tracker History |
TeaLover 寫: 謝謝 jazz，我忘了注意版本問題了 我原本以為你用的是 2.6 （你以前的文章是這個版本） 1.2.1 我就不確定是不是因為版本的緣故。 以前我遇過的是 job 太多，「印象」以前超過 1000 個 Job 就不會再紀錄了。 - Jazz |
|
| 第 1 頁 (共 1 頁) | 所有顯示的時間為 UTC + 8 小時 |
| Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group http://www.phpbb.com/ |
|