Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-01, 16:48

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 6 篇文章 ] 
發表人 內容
 文章主題 : 有關於Hadoop的分配任務(scheduler)
文章發表於 : 2014-12-09, 21:40 
離線

註冊時間: 2014-12-09, 21:28
文章: 3
想請問一下
最近想要了解一下 Hadoop MapReduce 是如何分配任務的
每一個節點的load都是一樣的嗎??
還是有利用哪些資訊或演算法來分配適當的資料給每個節點?
若想了解這部分的資訊應該看哪個部份的source code跟參考網站?
感謝

(所使用版本 Hadoop 2.5.1)


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 有關於Hadoop的分配任務(scheduler)
文章發表於 : 2014-12-10, 12:56 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
york 寫:
想請問一下
最近想要了解一下 Hadoop MapReduce 是如何分配任務的
每一個節點的load都是一樣的嗎??
還是有利用哪些資訊或演算法來分配適當的資料給每個節點?
若想了解這部分的資訊應該看哪個部份的source code跟參考網站?
感謝
(所使用版本 Hadoop 2.5.1)


YARN 是 Resource Scheduling
MapReduce 才是 Job Scheduling
先看您想問的是 Job 還是 Resource 的排程?

MapReduce Job Scheduling 預設是 FIFO(First In First Out),另外有 Fair Scheduler 跟 Capacity Scheduler

Source code 進入點: JobTracker.java


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 有關於Hadoop的分配任務(scheduler)
文章發表於 : 2014-12-11, 17:41 
離線

註冊時間: 2014-12-09, 21:28
文章: 3
jazz 寫:
york 寫:
想請問一下
最近想要了解一下 Hadoop MapReduce 是如何分配任務的
每一個節點的load都是一樣的嗎??
還是有利用哪些資訊或演算法來分配適當的資料給每個節點?
若想了解這部分的資訊應該看哪個部份的source code跟參考網站?
感謝
(所使用版本 Hadoop 2.5.1)


YARN 是 Resource Scheduling
MapReduce 才是 Job Scheduling
先看您想問的是 Job 還是 Resource 的排程?

MapReduce Job Scheduling 預設是 FIFO(First In First Out),另外有 Fair Scheduler 跟 Capacity Scheduler

Source code 進入點: JobTracker.java


MapReduce 的這部分我有查到相關資料
不過YARN 的排程的部分都找不到資料
想說直接從source code 來找 可是不知道該從哪邊開始看


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 有關於Hadoop的分配任務(scheduler)
文章發表於 : 2014-12-11, 23:28 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
york 寫:
MapReduce 的這部分我有查到相關資料
不過YARN 的排程的部分都找不到資料
想說直接從source code 來找 可是不知道該從哪邊開始看


關於 YARN 的論文:
Best Paper Apache Hadoop YARN: Yet Another Resource Negotiator [Industrial Paper] (PDF)
Vinod Kumar Vavilapalli and Arun C Murthy (Hortonworks), Chris Douglas (Microsoft), Sharad Agarwal (Inmobi), Mahadev Konar (Hortonworks), Robert Evans, Thomas Graves, and Jason Lowe (Yahoo!), Hitesh Shah, Siddharth Seth, and Bikas Saha (Hortonworks), Carlo Curino (Microsoft), Owen O'Malley and Sanjay Radia (Hortonworks), Benjamin Reed (Facebook), and Eric Baldeschwieler (Hortonworks)
http://www.socc2013.org/home/program/a5-vavilapalli.pdf?attredirects=0

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 有關於Hadoop的分配任務(scheduler)
文章發表於 : 2014-12-12, 00:26 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
york 寫:
MapReduce 的這部分我有查到相關資料
不過YARN 的排程的部分都找不到資料
想說直接從source code 來找 可是不知道該從哪邊開始看


如果是下載 hadoop-2.5.1-src.tar.gz 的話,解開之後,跟排程相關的程式碼位於
hadoop-2.5.1-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/src/main/java/org/apache/hadoop/yarn/server/resourcemanager/scheduler

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 有關於Hadoop的分配任務(scheduler)
文章發表於 : 2014-12-12, 18:17 
離線

註冊時間: 2014-12-09, 21:28
文章: 3
jazz 寫:
york 寫:
MapReduce 的這部分我有查到相關資料
不過YARN 的排程的部分都找不到資料
想說直接從source code 來找 可是不知道該從哪邊開始看


如果是下載 hadoop-2.5.1-src.tar.gz 的話,解開之後,跟排程相關的程式碼位於
hadoop-2.5.1-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/src/main/java/org/apache/hadoop/yarn/server/resourcemanager/scheduler

- Jazz


好的,感謝jazz大。
:mrgreen:


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 6 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作