Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-01, 18:06

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : Hadoop的硬件服务器的选择问题
文章發表於 : 2013-08-17, 16:16 
離線

註冊時間: 2010-05-15, 18:24
文章: 27
主要就是對於NameNode,JobTracker,Datanode/TaskTracker服務器配置選擇;是否可以分享一下現有的Hadoop集群服務器型號以及其配置,大家共同探討一下Hadoop硬件選擇的最佳實踐,以下是我們選擇的服務器(Dell):

NameNode && JobTracker:

CPU: 4個 Intel(R) Xeon(R) CPU E7- 4807 @ 1.87GHz ,包含24個物理核心(6物理核心/顆CPU),虛擬48線程;
內存:64GB
硬盤:2×1TB RAID

DataNode && TaskTracker
CPU:2個 Intel(R) Xeon(R) CPU E5620 @ 2.40GHz,包含8個物理核心(4物理核心/顆CPU),虛擬16個線程;
內存:16GB
硬盤:4×2TB JBOD

現在考慮,NameNode不需要那麼多的核心數,可以適當減少物理核心數,而換成單核性能稍強一些的處理器;而DataNode內存16GB顯然是少了點,目前Ganglia監控中SWAP被大量使用,考慮升級到32GB比較合適;

歡迎大家分享、探討、指正。

Thanks!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Hadoop的硬件服务器的选择问题
文章發表於 : 2013-08-19, 00:39 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
早期會參考 http://blog.cloudera.com/blog/2010/03/clouderas-support-team-shares-some-basic-hardware-recommendations/
近期可以看各家硬體廠商的建議
Dell - http://files.cloudera.com/pdf/Dell_Cloudera_Solution_for_Apache_Hadoop_Reference_Architecture.pdf
HP - http://h20195.www2.hp.com/v2/GetPDF.aspx%2F4AA4-7057ENW.pdf
SuperMicro - http://www.supermicro.com/products/rack/hadoop.cfm

供參考~

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作