Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-30, 03:10

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : [問題]Hadoop performance tuning
文章發表於 : 2013-12-04, 15:15 
離線

註冊時間: 2013-09-08, 13:42
文章: 2
各位好

想請問有大大對hadoop的效能調校的經驗嗎?

網路上的Tuning的paper大多都是所有的nodes的硬體都一致, 但是我的每個node幾乎硬體都不一樣.

我有8個nodes
==============================================================
          Namenode
Model Name
Acer R520 M2

CPU
Intel(R) Xeon(R) CPU E5506 @ 2.13GHz 4C4T

Memory
SAMSUNG DDR3-1600 8GB x 5 = 40GB

Hard Drive
150GB x 1 , 1TB x 4 = 4TB (Raid 0)

----------------------------------------------------------------------

          Portal

Model Name
Asus RS100-E7-PI2

CPU
Intel(R) Xeon(R) CPU E3-1230 V2 @ 3.30GHz 4C8T

Memory
Micron DDR3-1333 2G x 4 = 8GB

Hard Drive
500GB x 2

----------------------------------------------------------------------------

          Datanode 1
Model Name
Acer S5000PAL

CPU
Intel(R) Xeon(R) CPU 5130 @ 2.00GHz 2C2T


Memory
Micron DDR2-667 2G x 8= 16GB

Hard Drive
150GB x 1, 1TB x 1

-----------------------------------------------------------------------------------
          Datanode 2

Model Name
Acer R520 M2

CPU
Intel(R) Xeon(R) CPU E5504 @ 2.00GHz 4C4T


Memory
SAMSUNG DDR3-1600 8GB x 6= 48GB

Hard Drive
150GB x 1, 1TB x 4 = 4TB (Raid 0)

----------------------------------------------------------------------------------
          Datanode 3
Model Name
Acer R520 M2

CPU
Intel(R) Xeon(R) CPU E5504 @ 2.00GHz 4C8T

Memory
SAMSUNG DDR3-1600 8GB x 6= 48GB

Hard Drive
150GB x 1, 1TB x 3 = 3TB (Raid 0)

--------------------------------------------------------------------------------------

     Datanode 4

Model Name
Asus RS100-E7-PI2

CPU
Intel(R) Xeon(R) CPU E3-1230 V2 @ 3.30GHz 4C8T


Memory
Transcend DDR3-1600 8GB x 4= 32GB

Hard Drive
500GB x 2

-----------------------------------------------------------------------------------------
       Datanode 5

Model Name
Asus RS300-E7-RS4

CPU
Intel(R) Xeon(R) CPU E3-1230 V2 @ 3.30GHz 4C8T

Memory
Transcend DDR3-1600 8GB x 4= 32GB

Hard Drive
500GB x 2, 1TB x 1

---------------------------------------------------------------------------
       Datanode 6

Model Name
Asus RS300-E7-RS4

CPU
Intel(R) Xeon(R) CPU E3-1230 V2 @ 3.30GHz 4C8T

Memory
Transcend DDR3-1600 8GB x 2, Micron DDR3-1600 4GB x 2 = 24GB

Hard Drive
500GB x 2, 1TB x 1
=======================================================================

看網上的資訊好像建議不要用raid 0來當HDFS碟, 但是在知道這點之前就已經建好raid了
是不要動比較好嗎, 還是要改用JBOD?

感謝~~~


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: [問題]Hadoop performance tuning
文章發表於 : 2013-12-06, 00:30 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
s1566 寫:
各位好
想請問有大大對hadoop的效能調校的經驗嗎?
網路上的Tuning的paper大多都是所有的nodes的硬體都一致, 但是我的每個node幾乎硬體都不一樣.
我有8個nodes
看網上的資訊好像建議不要用raid 0來當HDFS碟, 但是在知道這點之前就已經建好raid了
是不要動比較好嗎, 還是要改用JBOD?
感謝~~~


1. 機器不一樣,主要就只能請您調整 core-site.xml, hdfs-site.xml 跟 mapred-site.xml 依據 CPU, RAM 數量調整 mapper 與 reducer 個數。然後依硬碟掛載情形,設定 dfs.data.dir。初步可以做的是這樣,當然效能好壞一定還有很多參數可以調,因為硬體不一樣,所以調起來會有點辛苦。

2. 因為已經建了 RAID,如果已經上線,那也只好先不動它囉。畢竟只有8個節點,拿掉一台,可能就得先跑 fsck 跟 balancer 確保副本有被複製到其他台。風險有點高啦。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: [問題]Hadoop performance tuning
文章發表於 : 2014-04-22, 10:22 
離線

註冊時間: 2013-09-08, 13:42
文章: 2
感謝

再請問一下,假如每台node的硬體都不同,那是否要對每台node的硬體去寫那些*.xml檔, 如mapred-site.xml 的mapreduce.tasktracker.map.tasks.maximum的選項,好像是要針對每台的硬體設定的。

Thanks!~~


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: [問題]Hadoop performance tuning
文章發表於 : 2014-04-22, 23:10 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
s1566 寫:
感謝
再請問一下,假如每台node的硬體都不同,那是否要對每台node的硬體去寫那些*.xml檔, 如mapred-site.xml 的mapreduce.tasktracker.map.tasks.maximum的選項,好像是要針對每台的硬體設定的。
Thanks!~~


是的,請參考 YDN 的 Hadoop Tutorial 有些經驗值可以參考
https://developer.yahoo.com/hadoop/tutorial/module7.html
其次,可參考 Hadoop Operations 一書的建議值。

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作