Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-03, 20:19

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 3 篇文章 ] 
發表人 內容
 文章主題 : 請問大家是使用什麼Hadoop版本修改Hadoop scheduler?
文章發表於 : 2014-06-19, 22:43 
離線

註冊時間: 2014-05-26, 15:52
文章: 4
我想請問有在修改Hadoop scheduler的人,請問您們是使用哪一個Hadoop版本進行修改?

我是使用Hadoop-0.20.2版本進行修改Hadoop scheduler,即JobQueueTaskScheduler.java,進行編譯、佈署,然後執行。因為是研究需要,所以才改Hadoop scheduler source code,因此,很怕被人說Hadoop版本太舊,結果不足以採用。所以我想請教各位是使用什麼版本來進行您們的Hadoop scheduler修改?以及編譯與佈署的方式,還是實際上Hadoop scheduler這一部分對於Hadoop版本而言沒有什麼太大差別?

如果有網頁教學,是否可以提供網址。或者是可以簡單說明一下,與Hadoop-0.20.2編譯與佈署方式的差別。

非常感謝

mclee


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問大家是使用什麼Hadoop版本修改Hadoop scheduler?
文章發表於 : 2014-06-20, 23:29 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
mclee 寫:
我想請問有在修改Hadoop scheduler的人,請問您們是使用哪一個Hadoop版本進行修改?
我是使用Hadoop-0.20.2版本進行修改Hadoop scheduler,即JobQueueTaskScheduler.java,進行編譯、佈署,然後執行。因為是研究需要,所以才改Hadoop scheduler source code,因此,很怕被人說Hadoop版本太舊,結果不足以採用。所以我想請教各位是使用什麼版本來進行您們的Hadoop scheduler修改?以及編譯與佈署的方式,還是實際上Hadoop scheduler這一部分對於Hadoop版本而言沒有什麼太大差別?
如果有網頁教學,是否可以提供網址。或者是可以簡單說明一下,與Hadoop-0.20.2編譯與佈署方式的差別。
非常感謝
mclee


0.20.2 - 1.x 的排程應該是差不多的,除了原始 FIFO 以外,應該可參考 Fair Scheduler 跟 Capacity Scheduler 去改。
但是 2.x 以後因為架構變成 YARN,所以排程變成是 Resource 的排程,而非 Job 的排程。
因此得看您要探討的是那一塊。
2.x 會變成先做 Resource 排程,然後拿到 Node 以後,才規劃成 MapReduce v1 再跑 Job 排程。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問大家是使用什麼Hadoop版本修改Hadoop scheduler?
文章發表於 : 2014-06-22, 00:32 
離線

註冊時間: 2014-05-26, 15:52
文章: 4
謝謝您的回覆,讓我更進一步瞭解Hadoop scheduler的發展。

非常感謝!

mclee


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 3 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 3 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作