Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2020-08-08, 23:00

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 5 篇文章 ] 
發表人 內容
 文章主題 : 關於wordcount的一些問題
文章發表於 : 2014-02-06, 13:09 
離線

註冊時間: 2013-08-08, 11:35
文章: 13
http://trac.nchc.org.tw/cloud/wiki/III120211/Lab8
我是看著這篇來練習的
跟著做一遍之後是可以得到應該有的結果
但是在Practice 1 : Word Count (Basic)
運作程式中的這條指令
"$ hadoop jar wordcount.jar WordCount lab8_input/ lab8_out1/" 不太清楚第二個WordCount是甚麼意思@@"

因為我現在在研究的是利用hadoop來跑apriori演算法
跟著wordcount的步驟來執行apriori.java
也是卡在上述的這條指令 顯示的畫面如下
附加檔案:
問題1.jpg
問題1.jpg [ 40.87 KiB | 被瀏覽 3826 次 ]


還有一點想請教 我看過國網中心
撰寫hadoop map/reduce程式碼的架構ppt
附加檔案:
問題2.jpg
問題2.jpg [ 100.7 KiB | 被瀏覽 3826 次 ]

反白的部分
"
throws IOException, InterruptedException
{
"
我上網找了一下關於這段的資料
這是一些Java異常處理的種類,其實要講也可以講很多,可以概述一點如下:Java語言的「例外」(Exception)是指產生了例外物件,這是一種例外事件,在程式執行時,發生不正常執行狀態時所產生事件的物件,「例外處理」(Handling Exceptions)就是在處理這些例外事件。例外處理的目的是為了讓程式能夠更「強壯」(Robust),當程式遇到不尋常情況,也不會造成程式「崩潰」(Crashing),進而導致整個系統當機。在Java產生的例外物件屬於Throwable類別或其子類別的實例,Throwable類別擁有2個直接繼承的子類別,如下所示:
Error類別:其子類別屬於JVM的嚴重錯誤,這種錯誤會導致程式終止執行,所以並沒有辦法使用例外處理來處理這種錯誤。
Exception類別:其子類別是各種例外物件,也是例外處理可以處理的部分,事實上,部分例外物件也是一種錯誤,只是錯誤沒有嚴重到需要終止程式執行,例外處理就是在防止程式終止執行,並且作一些補救操作。


我好奇的是 這段不加入map的話, 是否會有問題
學長畢業論文的CODE是沒有加..但是我再用eclipse跑的時候有錯誤訊息
加了之後就沒事了, 可是用hadoop run還是有問題...


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於wordcount的一些問題
文章發表於 : 2014-02-07, 15:24 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
csh10301989 寫:
"$ hadoop jar wordcount.jar WordCount lab8_input/ lab8_out1/" 不太清楚第二個WordCount是甚麼意思@@"
我好奇的是 這段不加入map的話, 是否會有問題
學長畢業論文的CODE是沒有加..但是我再用eclipse跑的時候有錯誤訊息
加了之後就沒事了, 可是用hadoop run還是有問題...


1. 關於第二個 WordCount 代表 Main Class 也就是哪個 Java 類別包含 main() 函數。這通常發生在您的 jar 檔中有多個 class 檔,而且 manifest 沒有說明哪個是 MainClass。
2. 一般 try ... catch 在 Eclipse 中會幫忙檢查,不加的話只是比較難判斷錯誤發生在哪個位置,原因為何。

關於您的問題,錯誤訊息說明在 Apriori.jar 中,沒有 Apriori.class (在 Java 中,大小寫是有關係的,不確定是否為筆誤)
或者 Apriori 類別中沒有定義 public static void main(String[] args)

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於wordcount的一些問題
文章發表於 : 2014-02-07, 16:06 
離線

註冊時間: 2013-08-08, 11:35
文章: 13
謝謝Jazz大大回復
我再仔細看一下code...


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於wordcount的一些問題
文章發表於 : 2014-02-13, 12:20 
離線

註冊時間: 2013-08-08, 11:35
文章: 13
Dear Jazz大
您所描述的
"
關於您的問題,錯誤訊息說明在 Apriori.jar 中,沒有 Apriori.class (在 Java 中,大小寫是有關係的,不確定是否為筆誤)
或者 Apriori 類別中沒有定義 public static void main(String[] args)
- Jazz
"
這個部分,
我使用jar tvf filename.jar 來查看jar包中的內容 有顯示Apriori.class, 大小寫也沒有錯, 所以我想應該不是這個問題.
接下來我看了您所說的Apriori類別中沒有定義,
因為我用eclipse查看的時候, 也有用wordcount.java來對照, 發現這幾行code它顯示沒有使用到,
"
import java.util.StringTokenizer;
import java.util.Vector;
import java.util.Iterator;

import org.apache.hadoop.util.GenericOptionsParser;


private static final String OUTPUT_PATH = "1-work";

"
所以我想是不是這個問題?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於wordcount的一些問題
文章發表於 : 2014-02-18, 09:58 
離線

註冊時間: 2013-08-08, 11:35
文章: 13
已解決, code問題^^"


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 5 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 3 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作