Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-05-22, 05:33

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 6 篇文章 ] 
發表人 內容
 文章主題 : HADOOP的使用
文章發表於 : 2011-03-14, 16:30 
離線

註冊時間: 2011-03-14, 16:23
文章: 45
因為要做專題,我們要做的是雲端的DATABASE
我們老師教我們安裝這一套,我安裝了Hadoop4Win 0.1.2 版
這一版,但是我在線上看教學我也照著一步一步做,
但我連上傳都傳不上去一直找不到檔案
更不要說去連結了,而網頁是英文的讓我非常苦手
都不知道上面的英文代表什麼,有大大可以教學媽???
現在整個一頭霧水阿~~好困擾


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: HADOOP的使用
文章發表於 : 2011-03-15, 00:26 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
Fighter 寫:
因為要做專題,我們要做的是雲端的DATABASE
我們老師教我們安裝這一套,我安裝了Hadoop4Win 0.1.2 版
這一版,但是我在線上看教學我也照著一步一步做,
但我連上傳都傳不上去一直找不到檔案
更不要說去連結了,而網頁是英文的讓我非常苦手
都不知道上面的英文代表什麼,有大大可以教學媽???
現在整個一頭霧水阿~~好困擾


嗯,學習新技術,英文是必要的。畢竟純亞太地區開發的雲端軟體並不多。
hadoop4win 雖然有內建 HBase 在 0.1.3 版,不過目前定位也只是讓大家嘗試去使用它,
http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win
操作步驟已經都是中文的。您講的英文應該是 HBase 官方網站的資料吧?
目前 HBase 沒有書,只有 Hadoop 有一本中文書。
個人覺得一開始就切入 HBase 似乎有點太難了,因為 HBase 是基於 Hadoop。

<基礎教材>
http://trac.nchc.org.tw/cloud/wiki/NCHC ... urse110224
<進階教材>
http://trac.nchc.org.tw/cloud/wiki/NCHC ... urse100928

不想看英文,又想用雲端資料庫,建議學 Google App Engine
http://code.google.com/intl/zh-TW/appen ... datastore/
或 Microsoft Azure 平台的 SQL Azure。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: HADOOP的使用
文章發表於 : 2011-03-20, 21:35 
離線

註冊時間: 2011-03-14, 16:23
文章: 45
所以那要灌HADOOP最好用LINUX的版本??
我現在一整個不知道怎麼辦......
我們老師一直叫我把他架起來......
但我上傳檔案的指令都用不成功


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: HADOOP的使用
文章發表於 : 2011-03-20, 22:28 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
Fighter 寫:
所以那要灌HADOOP最好用LINUX的版本??
我現在一整個不知道怎麼辦......
我們老師一直叫我把他架起來......
但我上傳檔案的指令都用不成功


「建議」用 Linux,
不會用 Linux 那就設法去理解目前遇到的問題是甚麽,
然後一一解決,而不是陳述「不知道怎麼辦」,
那這樣陳述問題,別人也幫不了甚麽忙啊~

引言回覆:
這一版,但是我在線上看教學我也照著一步一步做,
但我連上傳都傳不上去一直找不到檔案


基本上這樣的陳述,沒有人知道你遇到的是甚麽問題。
你做了甚麽動作?傳不上去一直找不到檔案的錯誤訊息是甚麽?
直接貼畫面上的訊息,甚至擷圖,會讓別人比較有線索可以猜測狀況。

我在「已知問題」的地方說了,hadoop4win 會有一個缺點,
就是路徑問題,若遇到一直跟你講 file not found
加上 cygpath 指令強制轉換成 windows 路徑,比較不會有問題。

代碼:
由於 Cygwin 的路徑並無法正常被 Hadoop 解析,亦即 Hadoop 經過 Windows OS 告知路徑為 C:\hadoop4win\opt\hadoop\ 但在 Cygwin 中卻為 \opt\hadoop。因此倘若您看到 File XXXX does not exist 的問題,可用 cygpath -w 指令把路徑轉變成 Windows 絕對路徑,就可以解決。例如:

hadoop@JAZZ ~
$ cd /opt/hadoop

hadoop@JAZZ /opt/hadoop
$ bin/hadoop fs -put conf input2
put: File conf does not exist.

hadoop@JAZZ /opt/hadoop
$ cygpath -w /opt/hadoop/conf
C:\hadoop4win\opt\hadoop-0.20.2\conf-examples\

hadoop@JAZZ /opt/hadoop
$ bin/hadoop fs -put $(cygpath -w conf) input2


- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: HADOOP的使用
文章發表於 : 2011-03-20, 23:38 
離線

註冊時間: 2011-03-14, 16:23
文章: 45
那我有一個ABC的文字檔上傳的話....
要改哪裡????
還有LINUX的那些指令可在這XP版使用嗎????


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: HADOOP的使用
文章發表於 : 2011-03-21, 11:39 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
Fighter 寫:
那我有一個ABC的文字檔上傳的話....
要改哪裡????
還有LINUX的那些指令可在這XP版使用嗎????


Cygwin 是在 Windows 上模擬 Linux 的環境,所以多數指令只要有安裝在 Cygwin 都可以執行。
上傳家目錄的 ABC 文字檔 (/home/${USER_ID}/ABC.TXT) 一樣用 hadoop fs -put
代碼:
hadoop@JAZZ ~
$ /opt/hadoop/bin/hadoop fs -put $(cygpath -w ABC.TXT) input3


- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 6 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作