Taiwan Hadoop Forum

主要就是對於NameNode，JobTracker，Datanode/TaskTracker服務器配置選擇；是否可以分享一下現有的Hadoop集群服務器型號以及其配置，大家共同探討一下Hadoop硬件選擇的最佳實踐，以下是我們選擇的服務器（Dell）：

NameNode && JobTracker：

CPU: 4個 Intel(R) Xeon(R) CPU E7- 4807 @ 1.87GHz ，包含24個物理核心（6物理核心/顆CPU），虛擬48線程；
內存：64GB
硬盤：2×1TB RAID

DataNode && TaskTracker
CPU：2個 Intel(R) Xeon(R) CPU E5620 @ 2.40GHz，包含8個物理核心（4物理核心/顆CPU），虛擬16個線程；
內存：16GB
硬盤：4×2TB JBOD

現在考慮，NameNode不需要那麼多的核心數，可以適當減少物理核心數，而換成單核性能稍強一些的處理器；而DataNode內存16GB顯然是少了點，目前Ganglia監控中SWAP被大量使用，考慮升級到32GB比較合適；

歡迎大家分享、探討、指正。

Thanks！

早期會參考 http://blog.cloudera.com/blog/2010/03/clouderas-support-team-shares-some-basic-hardware-recommendations/
近期可以看各家硬體廠商的建議
Dell - http://files.cloudera.com/pdf/Dell_Cloudera_Solution_for_Apache_Hadoop_Reference_Architecture.pdf
HP - http://h20195.www2.hp.com/v2/GetPDF.aspx%2F4AA4-7057ENW.pdf
SuperMicro - http://www.supermicro.com/products/rack/hadoop.cfm

供參考~

- Jazz