Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2018-10-24, 13:52

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 6 篇文章 ] 
發表人 內容
 文章主題 : Job Tracker History
文章發表於 : 2016-07-25, 17:56 
離線

註冊時間: 2015-11-04, 16:44
文章: 5
因為想保存每個job的task log
上網看了一些資料後
去更改了mapred-site中的參數
參數設定如下
<property>
<name>mapred.userlog.retain.hours</name>
<value>2880</value>
</property>
這樣不是會將log檔保存120天
為什麼我今天去看以前某個job的task log檔,還是被刪除了...

如果想保留每個job的task log檔,該怎麼做?

訊息如下

HTTP ERROR 410

Problem accessing /tasklog. Reason:

Task log directory for task attempt_201607121926_0026_m_000000_0 does not exist. May be cleaned up by Task Tracker, if older logs.


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Job Tracker History
文章發表於 : 2016-07-25, 23:09 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
TeaLover 寫:
因為想保存每個job的task log
上網看了一些資料後
去更改了mapred-site中的參數
參數設定如下
<property>
<name>mapred.userlog.retain.hours</name>
<value>2880</value>
</property>
這樣不是會將log檔保存120天
為什麼我今天去看以前某個job的task log檔,還是被刪除了...
如果想保留每個job的task log檔,該怎麼做?
訊息如下
HTTP ERROR 410
Problem accessing /tasklog. Reason:
Task log directory for task attempt_201607121926_0026_m_000000_0 does not exist. May be cleaned up by Task Tracker, if older logs.


請問您是跑哪個版本的 Hadoop 呢?
因為 YARN 配合的 History Server 行為會有點不太一樣。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Job Tracker History
文章發表於 : 2016-07-25, 23:30 
離線

註冊時間: 2015-11-04, 16:44
文章: 5
jazz 寫:
TeaLover 寫:
因為想保存每個job的task log
上網看了一些資料後
去更改了mapred-site中的參數
參數設定如下
<property>
<name>mapred.userlog.retain.hours</name>
<value>2880</value>
</property>
這樣不是會將log檔保存120天
為什麼我今天去看以前某個job的task log檔,還是被刪除了...
如果想保留每個job的task log檔,該怎麼做?
訊息如下
HTTP ERROR 410
Problem accessing /tasklog. Reason:
Task log directory for task attempt_201607121926_0026_m_000000_0 does not exist. May be cleaned up by Task Tracker, if older logs.


請問您是跑哪個版本的 Hadoop 呢?
因為 YARN 配合的 History Server 行為會有點不太一樣。

- Jazz


我是跑1.2.1


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Job Tracker History
文章發表於 : 2016-07-25, 23:31 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
https://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-common/DeprecatedProperties.html

文件說
代碼:
mapred.userlog.retain.hours
已經 Deprecated,
新的是
代碼:
mapreduce.job.userlog.retain.hours


- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Job Tracker History
文章發表於 : 2016-07-25, 23:37 
離線

註冊時間: 2015-11-04, 16:44
文章: 5
jazz 寫:
https://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-common/DeprecatedProperties.html

文件說
代碼:
mapred.userlog.retain.hours
已經 Deprecated,
新的是
代碼:
mapreduce.job.userlog.retain.hours


- Jazz


謝謝jazz,我忘了注意版本問題了


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Job Tracker History
文章發表於 : 2016-07-28, 21:07 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
TeaLover 寫:
謝謝 jazz,我忘了注意版本問題了


我原本以為你用的是 2.6 (你以前的文章是這個版本)
1.2.1 我就不確定是不是因為版本的緣故。

以前我遇過的是 job 太多,「印象」以前超過 1000 個 Job 就不會再紀錄了。

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 6 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作