Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-03, 19:20

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : 請問 有辦法在eclipse環境中執行叢集mapreduce嗎?
文章發表於 : 2014-06-09, 13:54 
離線

註冊時間: 2014-05-02, 17:14
文章: 2
您好, 在下是hadoop新手
想請教一下 我現在有一個hadoop cluster
然後我想從另一台筆電上的eclipse環境執行叢集上的mapreduce (非本機執行)
請問是否可以這樣執行呢?

我把cluster上的設定檔copy到筆電裡
代碼:
        conf.addResource(new Path("conf\\core-site.xml"));
        conf.addResource(new Path("conf\\hdfs-site.xml"));
        conf.addResource(new Path("conf\\mapred-site.xml"));

   Job job=new Job(conf, "Count");
   job.setJarByClass(WordCount.class);
      
   job.setMapperClass(Map.class);
   job.setReducerClass(Reduce.class);
   job.setCombinerClass(Reduce.class);
      
   job.setOutputKeyClass(Text.class);
   job.setOutputValueClass(IntWritable.class);

   FileInputFormat.addInputPath(job, new Path("/josh/data/wordcount"));
   FileOutputFormat.setOutputPath(job, new Path("/tmp/linecount"));
   System.exit(job.waitForCompletion(true)? 1 : 0);


然後執行後發生ClassNotFoundException
代碼:
14/06/09 11:14:59 INFO mapred.JobClient: Task Id : attempt_201405271020_0607_m_000000_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: com.mapreduce.basic.WordCount$Map


是不是要把class傳給mapreduce?
能不能請高手指點一下? 謝謝!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問 有辦法在eclipse環境中執行叢集mapreduce嗎?
文章發表於 : 2014-06-10, 20:37 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
答案是可以的,
不過您必須透過 hadoop 的 eclipse plugin 來達到這個目的。
http://wiki.apache.org/hadoop/EclipsePlugIn
http://stackoverflow.com/questions/20021169/hadoop-2-2-0-eclipse-plugin

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問 有辦法在eclipse環境中執行叢集mapreduce嗎?
文章發表於 : 2014-06-16, 14:13 
離線

註冊時間: 2014-05-02, 17:14
文章: 2
感謝版主的回覆
但可能我沒有表達清楚
我現在可以在client端的eclipse執行mapreduce
(我用的是IBM biginsights的eclipse plugin)
但看起來是在client端執行的mapreduce
(jobtracker 50030沒有紀錄, setNumReduceTasks 也沒有用)
但如果輸出成jar複製到jobtracker用hadoop jar執行就ok
因此我是想問有沒有辦法從client執行cluster上的mapreduce?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請問 有辦法在eclipse環境中執行叢集mapreduce嗎?
文章發表於 : 2014-06-17, 15:43 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
您有正確設定 Eclipse Plugin 的 JobTracker 跟 NameNode 位址嘛?
把下圖的 localhost 換成遠端叢集的 dormain name (Ex. hadoop.nchc.org.tw )
將 port 換成遠端叢集設定的 port,因為官方文件會寫 9000/9001 (NN/JT) , Cloudera CDH 則是用 8020/8021
圖檔
詳細步驟請參考:http://trac.3du.me/cloud/wiki/NCHCCloudCourse100928_2_IDE

- Jazz

PorkBBQ 寫:
感謝版主的回覆
但可能我沒有表達清楚
我現在可以在client端的eclipse執行mapreduce
(我用的是IBM biginsights的eclipse plugin)
但看起來是在client端執行的mapreduce
(jobtracker 50030沒有紀錄, setNumReduceTasks 也沒有用)
但如果輸出成jar複製到jobtracker用hadoop jar執行就ok
因此我是想問有沒有辦法從client執行cluster上的mapreduce?


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作