Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2020-08-08, 22:53

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : hadoop中使用Configuration傳值出現問題
文章發表於 : 2014-04-01, 11:31 
離線

註冊時間: 2014-04-01, 10:48
文章: 1
1. 在Eclipse環境下編寫WordCount程式,統計所有除Stop-Word(如a,
an, of, in, on, the, this, that,...)外所有出現次數k次以上的單詞計數,
最後的結果按照詞頻從高到低排序輸出
2. 運行程式,對莎士比亞文集文檔數據進行處理
3. 可自行建立一個Stop-Word列表檔,其中包含部分停詞即可,不
需要列出全部停詞;參數k作為輸入參數動態指定(如k=10)
在run中設置
job1conf.set("k", args[2]);
Map中取值
Integer.parseInt(context.getConfiguration().get("k")
會出現取到null
java.io.IOException: Spill failed

Caused by: java.lang.NumberFormatException: null

hdfs://localhost:9000/user/huang/Shakespeare_Text hdfs://localhost:9000/user/huang/Shakes ... _step1_new 1000


附加檔案:
Shakespeare.java [6.27 KiB]
被下載 154 次

附加檔案:
Util.java [3.21 KiB]
被下載 130 次

stop-word:a,an, of, in, on, the, this
Shakespeare.txt:
The Complete Works of William Shakespeare
Welcome to the Web's first edition of
the Complete Works of William
Shakespeare. This site has offered
Shakespeare's plays and poetry to the
Internet community since 1993.
Announcement: The restoration of the site
following a disk failure has been delayed. The
text of the plays is available now. The poetry
and other services, including the search engine
and forums, will return shortly. (Nov. 13, 2000)
For other Shakespeare resources, visit the Mr.
William Shakespeare and the Internet Web site.
The original electronic source for this server is
the Complete Moby(tm) Shakespeare, which is
freely available online. The HTML versions of
the plays provided here are placed in the public
domain.


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop中使用Configuration傳值出現問題
文章發表於 : 2014-04-03, 23:48 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
loop_huang 寫:
在run中設置
job1conf.set("k", args[2]);
Map中取值
Integer.parseInt(context.getConfiguration().get("k")
會出現取到null
java.io.IOException: Spill failed

Caused by: java.lang.NumberFormatException: null


1. 一般會呼叫 public String get(String name, String defaultValue) 以免遇到 Null Exception
2. 建議您,請到 50030 頁面查詢該次運算的 JobConf 檔
應該每個 Job 都會有一行像這樣
代碼:
JobConf: hdfs://hdp:9000/opt/hadoop/var/hadoop-root/mapred/staging/user3/.staging/job_201403221447_0166/job.xml

然後搜尋一下您要找的 "k" (建議改成 "stopword" 比較容易在 job.xml 中確認是否有正確傳進去)

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 4 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作