Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-03, 23:42

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 6 篇文章 ] 
發表人 內容
 文章主題 : MapReduce
文章發表於 : 2011-04-16, 17:26 
離線

註冊時間: 2011-03-14, 16:23
文章: 45
照著範例作有做出來.....
那可以運算文字檔或是EXCEL嗎???
那該要如何打??

還想請教一些問題

可以從隨便一台電腦(跟架設的都沒關系)上丟東西上去算嗎???

老師要我們做商品分析,那可以分析商品資訊嗎??因為指令好像不能打中文


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: MapReduce
文章發表於 : 2011-04-16, 19:17 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
Fighter 寫:
照著範例作有做出來.....
那可以運算文字檔或是EXCEL嗎???
那該要如何打??
還想請教一些問題
可以從隨便一台電腦(跟架設的都沒關系)上丟東西上去算嗎???
老師要我們做商品分析,那可以分析商品資訊嗎??因為指令好像不能打中文


文字檔可以,Excel 必須要能解析內容,需要自己寫程式。

分析商品資訊,就看要怎麼分析法了~抓網頁來分析,給資料庫做分析~
目前 Hadoop 很熱門的領域是商業智慧(BI),也是一種分析。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: MapReduce
文章發表於 : 2011-04-19, 18:53 
離線

註冊時間: 2011-03-14, 16:23
文章: 45
那文字檔(ex:abc.txt)的指令要改成怎樣子.....
這樣???
bin/hadoop jar hadoop-*-abc.txt grep lab3_input lab3_out1 'dfs[a-z.]+'


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: MapReduce
文章發表於 : 2011-04-19, 19:03 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
Fighter 寫:
那文字檔(ex:abc.txt)的指令要改成怎樣子.....
這樣???
bin/hadoop jar hadoop-*-abc.txt grep lab3_input lab3_out1 'dfs[a-z.]+'


代碼:
bin/hadoop fs -put abc.txt lab3_input
bin/hadoop jar hadoop-*-core.jar grep lab3_input lab3_out1 'dfs[a-z.]+'


- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: MapReduce
文章發表於 : 2011-04-19, 21:22 
離線

註冊時間: 2011-03-14, 16:23
文章: 45
不能分析....是沒像之前說錯誤..(用XP版的)
但跑出9行字
Exception in thread "main" java.lang.ClassNotFoundException: grep
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
at java.lang.ClassLoader.loadClass(ClassLoader.java:248)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:247)
at org.apache.hadoop.util.RunJar.main(RunJar.java:149)

不能複製.........請問是什麼問題??
連範例那個程式碼也是這樣只是有更多的at
LINUX 的按下去動都沒動等很久還是沒動

而且看影片他們的50070的網頁有一個DATANODE
顯示機器名稱但是我的只有
NameNode Storage:
Storage Directory Type State
\tmp\hadoop-FT\dfs\name IMAGE_AND_EDITS Active

沒關係嗎?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: MapReduce
文章發表於 : 2011-04-20, 08:45 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
Fighter 寫:
不能分析....是沒像之前說錯誤..(用XP版的)
但跑出9行字
Exception in thread "main" java.lang.ClassNotFoundException: grep
而且看影片他們的50070的網頁有一個DATANODE
顯示機器名稱但是我的只有
NameNode Storage:
Storage Directory Type State
\tmp\hadoop-FT\dfs\name IMAGE_AND_EDITS Active
沒關係嗎?


抱歉,筆誤~應該是 hadoop-*-examples.jar 不是 hadoop-*-core.jar

引言回覆:
bin/hadoop jar hadoop-*-examples.jar grep lab3_input lab3_out1 'dfs[a-z.]+'


第二個問題請看 Live Node 個數是否等於 0
若 Live Node 個數是零,那您的環境還是有問題。

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 6 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作