Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-29, 03:27

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : 詢問hadoop測試網頁50030的數據觀察問題
文章發表於 : 2014-04-15, 17:32 
離線

註冊時間: 2014-04-15, 17:24
文章: 2
我架了一個hadoop-cluster(2 node)並去跑一個mahout work,觀察50030的網站上的數據會出現我跑的jobtracker紀錄,點進去會有它的各種資訊(cpu,time...等),我主要是想觀測他的實體、虛擬memory數值,但他memory數值顯示似乎是total數值(2個node加起來的)。

如果我想看各台node跑這個work的memory資訊要怎麼做呢? 我有進去hadoop資料夾看他的web.xml內容,50030網站似乎是就是這個.xml檔,在裡面加入其他內容能夠看到我所說的單台memory資訊嗎?

請賜教~


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 詢問hadoop測試網頁50030的數據觀察問題
文章發表於 : 2014-04-20, 18:00 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
若有權限,可直接在執行的主機上用 jconsole 連接到執行中的 java process
就可以看到即時的記憶體用量。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 詢問hadoop測試網頁50030的數據觀察問題
文章發表於 : 2014-06-10, 12:56 
離線

註冊時間: 2014-06-03, 11:56
文章: 4
jazz 寫:
若有權限,可直接在執行的主機上用 jconsole 連接到執行中的 java process
就可以看到即時的記憶體用量。

- Jazz



請問使用 jconsole的方式也可以找到各node的CPU的使用率嗎?

最近有想要使用此類訊息來做排程的部分,但目前只能透過額外的程式觀看,無法即時得知這些資訊。


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 詢問hadoop測試網頁50030的數據觀察問題
文章發表於 : 2014-06-10, 22:04 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
ncuelab117 寫:
請問使用 jconsole的方式也可以找到各node的CPU的使用率嗎?
最近有想要使用此類訊息來做排程的部分,但目前只能透過額外的程式觀看,無法即時得知這些資訊。


不確定您要看的是單一 java process 的 CPU 使用率,還是 node 的 total CPU 使用率呢?
如果只是要 total CPU 使用率,可以使用像 Ganglia 這種工具,就可以蒐集到全部 node 的資訊。
如果要單一 java process 的 CPU 使用率與 Memory 使用率,透過 JMX 是比較好的方法,但是要蒐集多台的 JMX 相對複雜許多。
Ex. http://stackoverflow.com/questions/17813385/enable-jmx-in-hadoop-job/19596009#19596009
http://stackoverflow.com/questions/6832063/how-to-have-a-single-jmx-proxy-for-multiple-jvms

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作