Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-02, 13:38

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : configuration set的問題
文章發表於 : 2015-05-30, 00:32 
離線

註冊時間: 2015-05-07, 10:39
文章: 4
想請問前輩,
我在configuration上遇到的問題,

以下是我的程式碼
Configuration conf = new Configuration();
conf.addResource("testing.xml");
conf.set("hadoop","rr99");


在網路上查到的資料是說透過conf.set();我可以去新增或修改屬性,但是我執行完這段程式碼,再去看testing.xml檔案,結果內容依然沒有改變,所以感到很困惑,不知道是我認知錯誤還是...?

ps.testing.xml是自己新增的,放在etc/hadoop下面,內容是複製core-site.xml去修改的。

謝謝


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: configuration set的問題
文章發表於 : 2015-06-01, 23:58 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
ttwskayy 寫:
想請問前輩,
我在configuration上遇到的問題,
以下是我的程式碼
代碼:
Configuration conf = new Configuration();
conf.addResource("testing.xml");
conf.set("hadoop","rr99");

在網路上查到的資料是說透過conf.set();我可以去新增或修改屬性,但是我執行完這段程式碼,再去看testing.xml檔案,結果內容依然沒有改變,所以感到很困惑,不知道是我認知錯誤還是...?
ps.testing.xml是自己新增的,放在etc/hadoop下面,內容是複製core-site.xml去修改的。
謝謝


我不太確定我的認知是否正確,不過如果能這裡的 Configuration 是 MapReduce Job 的 Configuration
應該不會是改 testing.xml 而會是 Job Configuration 的 XML
也就是在 JobTracker / Job HistroyServer 畫面中,看到的
hdfs://X.X.X.X:8020/user/history/done/2015/05/29/000000/job_1432095149842_0196_conf.xml
內容才會是你想改的結果。

附加檔案:
Job_Configuration.png
Job_Configuration.png [ 67.06 KiB | 被瀏覽 9010 次 ]


- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: configuration set的問題
文章發表於 : 2015-06-03, 19:59 
離線

註冊時間: 2015-05-07, 10:39
文章: 4
jazz 寫:
ttwskayy 寫:
想請問前輩,
我在configuration上遇到的問題,
以下是我的程式碼
代碼:
Configuration conf = new Configuration();
conf.addResource("testing.xml");
conf.set("hadoop","rr99");

在網路上查到的資料是說透過conf.set();我可以去新增或修改屬性,但是我執行完這段程式碼,再去看testing.xml檔案,結果內容依然沒有改變,所以感到很困惑,不知道是我認知錯誤還是...?
ps.testing.xml是自己新增的,放在etc/hadoop下面,內容是複製core-site.xml去修改的。
謝謝


我不太確定我的認知是否正確,不過如果能這裡的 Configuration 是 MapReduce Job 的 Configuration
應該不會是改 testing.xml 而會是 Job Configuration 的 XML
也就是在 JobTracker / Job HistroyServer 畫面中,看到的
hdfs://X.X.X.X:8020/user/history/done/2015/05/29/000000/job_1432095149842_0196_conf.xml
內容才會是你想改的結果。

附加檔案:
Job_Configuration.png


- Jazz



---------------------------

如果是MapReduce Job 的 Configuration
則會去修改 Job Configuration 的 XML
那我要怎麼進到JobTracker / Job HistroyServer 畫面 查看xml?
(也就是附圖的畫面)
這跟localhost:50070是不同的嗎?
因為到50070,找不到可以查看的地方

不好意思 麻煩前輩 指點迷津


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: configuration set的問題
文章發表於 : 2015-06-11, 23:25 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
ttwskayy 寫:
如果是MapReduce Job 的 Configuration
則會去修改 Job Configuration 的 XML
那我要怎麼進到JobTracker / Job HistroyServer 畫面 查看xml?
(也就是附圖的畫面)
這跟localhost:50070是不同的嗎?
因為到50070,找不到可以查看的地方
不好意思 麻煩前輩 指點迷津


看您用的 Hadoop 版本到底是佈署 JobTracker - http://IP:50030
還是 ResourceManager (YARN 架構) http://IP:8088

50070 是 NameNode , 是看檔案系統的地方。
50030 則是看工作排程(運算)的地方。

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作