Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-03, 19:48

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 5 篇文章 ] 
發表人 內容
 文章主題 : 如何控制NameNode使用的CPU個數?
文章發表於 : 2015-07-14, 02:51 
離線

註冊時間: 2015-05-27, 15:25
文章: 8
各位好,我是hadoop初學者,目前在運行MapReduce/Mahout Kmeans時,有個問題想要請教:
Masters: M1
Slaves: S2, S3, S4

若S2, S3, S4都是多核心,當job散出去給NameNode時,我要如何控制NameNode的CPU使用個數?
請問這是可以在MapReduce的code裡面去修改的嗎?

謝謝!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 如何控制NameNode使用的CPU個數?
文章發表於 : 2015-07-14, 22:42 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
seasky 寫:
各位好,我是hadoop初學者,目前在運行MapReduce/Mahout Kmeans時,有個問題想要請教:
Masters: M1
Slaves: S2, S3, S4
若S2, S3, S4都是多核心,當job散出去給NameNode時,我要如何控制NameNode的CPU使用個數?
請問這是可以在MapReduce的code裡面去修改的嗎?
謝謝!


Java Virtual Machine (JVM) 只支援一個 Java Process 最多使用單一核心,所以無法控制 NameNode 使用的 CPU 個數。
但可調整 TaskTracker 的 mapper slot 與 reducer slot 為 CPU 個數的 0.5 ~ 2 倍,好讓 MapReduce Job 可以善用 CPU 資源。
YDN 有一份年代久遠的參考,不過 Hadoop Operations 書裡也是這麼建議。
https://developer.yahoo.com/hadoop/tutorial/module7.html#config-large
改 mapred-site.xml 的

PS. Job 跟 NameNode (檔案系統 HDFS)無關,跟 JobTracker (MRv1) / ResourceManager (YARN, MRv2) 才有關。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 如何控制NameNode使用的CPU個數?
文章發表於 : 2015-07-15, 18:22 
離線

註冊時間: 2015-05-27, 15:25
文章: 8
了解。
謝謝jazz版大。

另外想請問Hadoop YARN的使用,
裡面提到yarn-site.xml中,NodeManager可以配置可用資源大小,
相關參數如:
yarn.nodemanager.resource.memory-mb
yarn.nodemanager.resource.cpu-vcores

在此處的yarn.nodemanager.resource.cpu-vcores是控制namenode使用的CPU數嗎?


謝謝。


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 如何控制NameNode使用的CPU個數?
文章發表於 : 2015-07-15, 22:16 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
seasky 寫:
了解。
謝謝jazz版大。
另外想請問Hadoop YARN的使用,
裡面提到yarn-site.xml中,NodeManager可以配置可用資源大小,
相關參數如:
yarn.nodemanager.resource.memory-mb
yarn.nodemanager.resource.cpu-vcores
在此處的yarn.nodemanager.resource.cpu-vcores是控制namenode使用的CPU數嗎?
謝謝。


yarn.nodemanager.resource.cpu-vcores 可以控制 NodeManager 的核心數。
可以想成 YARN 會幫你開容器(Container, 類似虛擬機器概念),
這個參數會限制這個容器最多可以用多少個虛擬核心(virtual cores, vcores)

NodeManager 是進行運算用的容器,NameNode 是管理檔案系統的倉庫總管。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 如何控制NameNode使用的CPU個數?
文章發表於 : 2015-07-15, 22:23 
離線

註冊時間: 2015-05-27, 15:25
文章: 8
了解。

謝謝版大的回覆:)


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 5 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作