Taiwan Hadoop Forum

我想請問有在修改Hadoop scheduler的人，請問您們是使用哪一個Hadoop版本進行修改？

我是使用Hadoop-0.20.2版本進行修改Hadoop scheduler，即JobQueueTaskScheduler.java，進行編譯、佈署，然後執行。因為是研究需要，所以才改Hadoop scheduler source code，因此，很怕被人說Hadoop版本太舊，結果不足以採用。所以我想請教各位是使用什麼版本來進行您們的Hadoop scheduler修改？以及編譯與佈署的方式，還是實際上Hadoop scheduler這一部分對於Hadoop版本而言沒有什麼太大差別？

如果有網頁教學，是否可以提供網址。或者是可以簡單說明一下，與Hadoop－0.20.2編譯與佈署方式的差別。

非常感謝

mclee

0.20.2 - 1.x 的排程應該是差不多的，除了原始 FIFO 以外，應該可參考 Fair Scheduler 跟 Capacity Scheduler 去改。
但是 2.x 以後因為架構變成 YARN，所以排程變成是 Resource 的排程，而非 Job 的排程。
因此得看您要探討的是那一塊。
2.x 會變成先做 Resource 排程，然後拿到 Node 以後，才規劃成 MapReduce v1 再跑 Job 排程。

- Jazz

謝謝您的回覆，讓我更進一步瞭解Hadoop scheduler的發展。

非常感謝！

mclee