Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-29, 03:28

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : 關於hadoop任務調度時的疑惑
文章發表於 : 2013-08-29, 08:25 
離線

註冊時間: 2013-08-28, 23:08
文章: 11
各位大大,我的hadoop是一台master,四台slave,slave的配置是i7 3770 4G 1T,現在我有個疑惑就是:假設現在系統有100個splits待運行,而我的每個slave的配置是5個map slot,5個reduce slot的話,關於任務的調度是不是先給每台slave分配5個任務讓其滿負荷運行,然後如果有mapslot提前完成,處於空閒狀態,就再給其分配任務?另外,slave中的每個mapslot或者reduce slot是不是都對應一個jvm?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於hadoop任務調度時的疑惑
文章發表於 : 2013-08-30, 23:03 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
zzuliszhen 寫:
各位大大,我的hadoop是一台master,四台slave,slave的配置是i7 3770 4G 1T,現在我有個疑惑就是:假設現在系統有100個splits待運行,而我的每個slave的配置是5個map slot,5個reduce slot的話,關於任務的調度是不是先給每台slave分配5個任務讓其滿負荷運行,然後如果有mapslot提前完成,處於空閒狀態,就再給其分配任務?另外,slave中的每個mapslot或者reduce slot是不是都對應一個jvm?


1. 5 個 map slot * 4 = 20 個 total map slot
5 個 reduce slot * 4 = 20 個 total reduce slot
100 個 InputSplit -> 100 個 mapper -> 先佔用 20 個 mapper slot
-> 2nd 佔用 20 個 mapper slot
-> 3rd 佔用 20 個 mapper slot
-> 4th 佔用 20 個 mapper slot
-> 5th 佔用 20 個 mapper slot
-> 佔用 1 個 reduce slot (如果沒指定 reduce 個數的話,預設是 1 個)

2. Yes, 1 map slot = 1 JVM , 1 reducer slot = 1 JVM

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作