請問有辦法在eclipse環境中執行叢集mapreduce嗎?

PorkBBQ · **註冊時間:** 2014-05-02, 17:14 **文章:** 2

您好, 在下是hadoop新手
想請教一下我現在有一個hadoop cluster
然後我想從另一台筆電上的eclipse環境執行叢集上的mapreduce (非本機執行)
請問是否可以這樣執行呢?

我把cluster上的設定檔copy到筆電裡

代碼:

        conf.addResource(new Path("conf\\core-site.xml"));
        conf.addResource(new Path("conf\\hdfs-site.xml")); 
        conf.addResource(new Path("conf\\mapred-site.xml"));

   Job job=new Job(conf, "Count");
   job.setJarByClass(WordCount.class);
      
   job.setMapperClass(Map.class);
   job.setReducerClass(Reduce.class);
   job.setCombinerClass(Reduce.class);
      
   job.setOutputKeyClass(Text.class);
   job.setOutputValueClass(IntWritable.class);

   FileInputFormat.addInputPath(job, new Path("/josh/data/wordcount"));
   FileOutputFormat.setOutputPath(job, new Path("/tmp/linecount"));
   System.exit(job.waitForCompletion(true)? 1 : 0);

然後執行後發生ClassNotFoundException

代碼:

14/06/09 11:14:59 INFO mapred.JobClient: Task Id : attempt_201405271020_0607_m_000000_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: com.mapreduce.basic.WordCount$Map

是不是要把class傳給mapreduce?
能不能請高手指點一下? 謝謝!

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

答案是可以的，
不過您必須透過 hadoop 的 eclipse plugin 來達到這個目的。
http://wiki.apache.org/hadoop/EclipsePlugIn
http://stackoverflow.com/questions/20021169/hadoop-2-2-0-eclipse-plugin

- Jazz

PorkBBQ · **註冊時間:** 2014-05-02, 17:14 **文章:** 2

感謝版主的回覆
但可能我沒有表達清楚
我現在可以在client端的eclipse執行mapreduce
(我用的是IBM biginsights的eclipse plugin)
但看起來是在client端執行的mapreduce
(jobtracker 50030沒有紀錄, setNumReduceTasks 也沒有用)
但如果輸出成jar複製到jobtracker用hadoop jar執行就ok
因此我是想問有沒有辦法從client執行cluster上的mapreduce?

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

您有正確設定 Eclipse Plugin 的 JobTracker 跟 NameNode 位址嘛？
把下圖的 localhost 換成遠端叢集的 dormain name (Ex. hadoop.nchc.org.tw )
將 port 換成遠端叢集設定的 port，因為官方文件會寫 9000/9001 (NN/JT) , Cloudera CDH 則是用 8020/8021

詳細步驟請參考：http://trac.3du.me/cloud/wiki/NCHCCloudCourse100928_2_IDE

- Jazz

PorkBBQ 寫:

感謝版主的回覆
但可能我沒有表達清楚
我現在可以在client端的eclipse執行mapreduce
(我用的是IBM biginsights的eclipse plugin)
但看起來是在client端執行的mapreduce
(jobtracker 50030沒有紀錄, setNumReduceTasks 也沒有用)
但如果輸出成jar複製到jobtracker用hadoop jar執行就ok
因此我是想問有沒有辦法從client執行cluster上的mapreduce?

Taiwan Hadoop Forum