Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-26, 04:17

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 12 篇文章 ]  前往頁數 12  下一頁
發表人 內容
 文章主題 : 利用eclipse開發hadoop
文章發表於 : 2011-07-18, 15:48 
離線

註冊時間: 2010-12-29, 17:07
文章: 33
看了http://trac.nchc.org.tw/cloud/wiki/waue/2009/0617這篇
裡面利用command mode來執行程式
但是我下指令時 它卻出現這兩行
[912user1@hdp1 wordcount]$ make jar
Makefile:7: *** missing separator. Stop.
[912user1@hdp1 wordcount]$ make run
Makefile:7: *** missing separator. Stop.
請大大幫小弟解惑 :( :( :(


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 利用eclipse開發hadoop
文章發表於 : 2011-07-18, 20:51 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
wwc767 寫:
看了http://trac.nchc.org.tw/cloud/wiki/waue/2009/0617這篇
裡面利用command mode來執行程式
但是我下指令時 它卻出現這兩行
[912user1@hdp1 wordcount]$ make jar
Makefile:7: *** missing separator. Stop.
[912user1@hdp1 wordcount]$ make run
Makefile:7: *** missing separator. Stop.
請大大幫小弟解惑 :( :( :(


Makefile 必須用 TAB ,不能照貼。
引言回覆:
JarFile="sample-0.1.jar"
MainFunc="Sample.WordCount"
LocalOutDir="/tmp/output"

all:help
jar:
jar -cvf ${JarFile} -C bin/ .
^^^ 前面必須是 TAB 跳格,請勿照貼~


- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 利用eclipse開發hadoop
文章發表於 : 2011-07-19, 15:29 
離線

註冊時間: 2010-12-29, 17:07
文章: 33
使用make run時 仍然有問題
我的package name是wordcount
所以在MakeFile裡面把Sample.WordCount改成wordcount.WordCount
但還是出現以下訊息

[912user1@hdp1 wordcount]$ make run
hadoop jar "sample-0.1.jar" "wordcount.WordCount" input output
/bin/sh: hadoop:命令找不到
make: *** [run] Error 127

請jazz大大幫小弟解惑


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 利用eclipse開發hadoop
文章發表於 : 2011-07-19, 20:26 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
wwc767 寫:
[912user1@hdp1 wordcount]$ make run
hadoop jar "sample-0.1.jar" "wordcount.WordCount" input output
/bin/sh: hadoop:命令找不到
make: *** [run] Error 127
請jazz大大幫小弟解惑


由於 hadoop 執行檔不在 PATH 找得到的路徑中。
請改以 Hadoop 實際安裝路徑取代,Ex. /opt/hadoop/bin/hadoop

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 利用eclipse開發hadoop
文章發表於 : 2011-07-20, 19:22 
離線

註冊時間: 2010-12-29, 17:07
文章: 33
jazz 寫:
wwc767 寫:
[912user1@hdp1 wordcount]$ make run
hadoop jar "sample-0.1.jar" "wordcount.WordCount" input output
/bin/sh: hadoop:命令找不到
make: *** [run] Error 127
請jazz大大幫小弟解惑


由於 hadoop 執行檔不在 PATH 找得到的路徑中。
請改以 Hadoop 實際安裝路徑取代,Ex. /opt/hadoop/bin/hadoop

- Jazz




謝謝jazz大大 程式已經執行成功 :」


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 利用eclipse開發hadoop
文章發表於 : 2013-07-03, 05:57 
離線

註冊時間: 2013-06-03, 12:40
文章: 15
To.Jazz

由於 hadoop 執行檔不在 PATH 找得到的路徑中。
請改以 Hadoop 實際安裝路徑取代,Ex. /opt/hadoop/bin/hadoop


請問是要改Makefile這邊的內容路徑,還是改哪裡的路徑? 不太清楚Jazz哥您的解答,不知道可不可以能再指示一下?

JarFile="sample-0.1.jar"
MainFunc="Sample.WordCount"
LocalOutDir="/tmp/output"

all:help
jar:
jar -cvf ${JarFile} -C bin/ .

run:
hadoop jar ${JarFile} ${MainFunc} input output

clean:
hadoop fs -rmr output

output:
rm -rf ${LocalOutDir}
hadoop fs -get output ${LocalOutDir}
gedit ${LocalOutDir}/part-r-00000 &


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 利用eclipse開發hadoop
文章發表於 : 2013-07-03, 22:41 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
    JarFile="sample-0.1.jar"
    MainFunc="Sample.WordCount"
    LocalOutDir="/tmp/output"

    all:help
    jar:
    jar -cvf ${JarFile} -C bin/ .

    run:
    /opt/hadoop/bin/hadoop jar ${JarFile} ${MainFunc} input output

    clean:
    /opt/hadoop/bin/hadoop fs -rmr output

    output:
    rm -rf ${LocalOutDir}
    /opt/hadoop/bin/hadoop fs -get output ${LocalOutDir}
    gedit ${LocalOutDir}/part-r-00000 &

若 hadoop 安裝在 /opt/hadoop 修改如上(紅字),若安裝在其他路徑,請改成您安裝的 Hadoop 路徑。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 利用eclipse開發hadoop
文章發表於 : 2013-07-04, 00:42 
離線

註冊時間: 2013-06-03, 12:40
文章: 15
To. Jazz
不好意思,我改了 Makefile 後,還是有出現新的錯誤訊息,不知道我哪裡出錯了?

[root@redhat icas]# ls
bin Makefile Makefile~ sample-0.1.jar src
[root@redhat icas]# make
Usage:
make jar - Build Jar File.
make clean - Clean up Output directory on HDFS.
make run - Run your MapReduce code on Hadoop.
make output - Download and show output file
make help - Show Makefile options.

Example:
make jar; make run; make output; make clean
[root@redhat icas]# make jar
jar -cvf "sample-0.1.jar" -C bin/ .
已新增資訊清單
新增: Sample/ (讀=0)(寫=0)(儲存 0%)
新增: Sample/WordCount.class (讀=1959)(寫=1044)(壓縮 46%)
新增: Sample/reducer.class (讀=2278)(寫=893)(壓縮 60%)
新增: Sample/mapper.class (讀=2181)(寫=878)(壓縮 59%)
[root@redhat icas]# make run
/opt/hadoop/bin/hadoop jar "sample-0.1.jar" "Sample.WordCount" input output
/bin/sh: /opt/hadoop/bin/hadoop: cannot execute binary file
make: *** [run] Error 126

[root@redhat icas]#

而且我在/opt/hahdoop資料夾下輸入hadoop指令,也是出現類似相同情況:
[root@redhat icas]# cd /opt/hadoop
[root@redhat hadoop]# hadoop fs -cat
-bash: /opt/hadoop/bin/hadoop: cannot execute binary file
[root@redhat hadoop]#

請問是哪裡出錯了? 感恩。


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 利用eclipse開發hadoop
文章發表於 : 2013-07-04, 00:54 
離線

註冊時間: 2013-06-03, 12:40
文章: 15
[root@redhat icas]# bash -x /opt/hadoop/bin/hadoop fs -cat
/opt/hadoop/bin/hadoop: /opt/hadoop/bin/hadoop: cannot execute binary file
[root@redhat icas]#


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 利用eclipse開發hadoop
文章發表於 : 2013-07-04, 01:13 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
rocker81317 寫:
[root@redhat icas]# bash -x /opt/hadoop/bin/hadoop fs -cat
/opt/hadoop/bin/hadoop: /opt/hadoop/bin/hadoop: cannot execute binary file
[root@redhat icas]#


可以跑 file /opt/hadoop/bin/hadoop 看看它到底是不是文字檔?

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 12 篇文章 ]  前往頁數 12  下一頁

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作