Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2020-01-20, 11:47

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 5 篇文章 ] 
發表人 內容
 文章主題 : Job class使用請益
文章發表於 : 2014-04-23, 19:03 
離線

註冊時間: 2013-07-29, 18:14
文章: 17
大家好,小弟使用的是hadoop2.2.0版本
在example裡面看到wordcount範例
mapreduce的主程式中用到Job job = new Job(conf, "word count"); (conf為Configuration型別)
想去trace Job這個class發現有三個名為job的class
分別在org.hadoop.mapreduce.Job org.hadoop.mapred.jobcontrol.Job org.apache.hadoop.mapreduce.v2.app.Job
從wordcount.java的import看起來是org.apache.hadoop.mapreduce.Job

連結過去後對應的contractor是
public Job(Configuration conf, String jobName) throws IOException {
this(conf);
setJobName(jobName);
}

小弟知道mapreduce是新版,mapred是舊版
但Job和this都畫上了刪除線,代表已經不被採用嗎?
那org.apache.hadoop.mapreduce.v2.app.Job看起來是YARN才有的東西,這邊的Job是否取代org.hadoop.mapreduce.Job
或者是做其他事情呢?
煩請有經驗的大大幫忙解惑,感謝!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Job class使用請益
文章發表於 : 2014-04-23, 22:23 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
1. 畫線只是因為在 2.2.0 那些類別已經標為 deprecated , 在 YARN 架構仍可提交 MRv1 的 Job。
2. YARN 的寫作方式又跟 MRv1 (1.x , 0.x) 不同, 因為要先規劃 NodeManager 要做什麼。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Job class使用請益
文章發表於 : 2014-04-24, 15:15 
離線

註冊時間: 2013-07-29, 18:14
文章: 17
jazz 寫:
1. 畫線只是因為在 2.2.0 那些類別已經標為 deprecated , 在 YARN 架構仍可提交 MRv1 的 Job。
2. YARN 的寫作方式又跟 MRv1 (1.x , 0.x) 不同, 因為要先規劃 NodeManager 要做什麼。

- Jazz


謝謝Jazz大,解惑了!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Job class使用請益
文章發表於 : 2014-04-25, 00:06 
離線

註冊時間: 2013-07-29, 18:14
文章: 17
再請教一下Jazz大
Jazz大所說的,YARN有兼容MRv1的code這點我已經了解
那當在YARN上RUN MRv1的code時
運作方式還是一樣,RM負責resource的分配
MapReduce的AM負責resource申請、task分配等工作
不知道小弟有沒有誤解的地方
感謝前輩


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Job class使用請益
文章發表於 : 2014-04-25, 11:46 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
phile22114 寫:
再請教一下Jazz大
Jazz大所說的,YARN有兼容MRv1的code這點我已經了解
那當在YARN上RUN MRv1的code時
運作方式還是一樣,RM負責resource的分配
MapReduce的AM負責resource申請、task分配等工作
不知道小弟有沒有誤解的地方
感謝前輩


實際上的流程我沒有仔細追過,不過應該是 NodeManager 被規劃成 MRv1 的容器,然後再去執行 MRv1 的程式碼。

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 5 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作