HADOOP的使用

Fighter · **註冊時間:** 2011-03-14, 16:23 **文章:** 45

因為要做專題,我們要做的是雲端的DATABASE
我們老師教我們安裝這一套,我安裝了Hadoop4Win 0.1.2 版
這一版,但是我在線上看教學我也照著一步一步做,
但我連上傳都傳不上去一直找不到檔案
更不要說去連結了,而網頁是英文的讓我非常苦手
都不知道上面的英文代表什麼,有大大可以教學媽???
現在整個一頭霧水阿~~好困擾

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

Fighter 寫:

因為要做專題,我們要做的是雲端的DATABASE
我們老師教我們安裝這一套,我安裝了Hadoop4Win 0.1.2 版
這一版,但是我在線上看教學我也照著一步一步做,
但我連上傳都傳不上去一直找不到檔案
更不要說去連結了,而網頁是英文的讓我非常苦手
都不知道上面的英文代表什麼,有大大可以教學媽???
現在整個一頭霧水阿~~好困擾

嗯，學習新技術，英文是必要的。畢竟純亞太地區開發的雲端軟體並不多。
hadoop4win 雖然有內建 HBase 在 0.1.3 版，不過目前定位也只是讓大家嘗試去使用它，
http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win
操作步驟已經都是中文的。您講的英文應該是 HBase 官方網站的資料吧？
目前 HBase 沒有書，只有 Hadoop 有一本中文書。
個人覺得一開始就切入 HBase 似乎有點太難了，因為 HBase 是基於 Hadoop。

<基礎教材>
http://trac.nchc.org.tw/cloud/wiki/NCHC ... urse110224
<進階教材>
http://trac.nchc.org.tw/cloud/wiki/NCHC ... urse100928

不想看英文，又想用雲端資料庫，建議學 Google App Engine
http://code.google.com/intl/zh-TW/appen ... datastore/
或 Microsoft Azure 平台的 SQL Azure。

- Jazz

Fighter · **註冊時間:** 2011-03-14, 16:23 **文章:** 45

所以那要灌HADOOP最好用LINUX的版本??
我現在一整個不知道怎麼辦......
我們老師一直叫我把他架起來......
但我上傳檔案的指令都用不成功

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

Fighter 寫:

所以那要灌HADOOP最好用LINUX的版本??
我現在一整個不知道怎麼辦......
我們老師一直叫我把他架起來......
但我上傳檔案的指令都用不成功

「建議」用 Linux，
不會用 Linux 那就設法去理解目前遇到的問題是甚麽，
然後一一解決，而不是陳述「不知道怎麼辦」，
那這樣陳述問題，別人也幫不了甚麽忙啊～

引言回覆:

這一版,但是我在線上看教學我也照著一步一步做,
但我連上傳都傳不上去一直找不到檔案

基本上這樣的陳述，沒有人知道你遇到的是甚麽問題。
你做了甚麽動作？傳不上去一直找不到檔案的錯誤訊息是甚麽？
直接貼畫面上的訊息，甚至擷圖，會讓別人比較有線索可以猜測狀況。

我在「已知問題」的地方說了，hadoop4win 會有一個缺點，
就是路徑問題，若遇到一直跟你講 file not found
加上 cygpath 指令強制轉換成 windows 路徑，比較不會有問題。

代碼:

由於 Cygwin 的路徑並無法正常被 Hadoop 解析，亦即 Hadoop 經過 Windows OS 告知路徑為 C:\hadoop4win\opt\hadoop\ 但在 Cygwin 中卻為 \opt\hadoop。因此倘若您看到 File XXXX does not exist 的問題，可用 cygpath -w 指令把路徑轉變成 Windows 絕對路徑，就可以解決。例如：

hadoop@JAZZ ~
$ cd /opt/hadoop

hadoop@JAZZ /opt/hadoop
$ bin/hadoop fs -put conf input2
put: File conf does not exist.

hadoop@JAZZ /opt/hadoop
$ cygpath -w /opt/hadoop/conf
C:\hadoop4win\opt\hadoop-0.20.2\conf-examples\

hadoop@JAZZ /opt/hadoop
$ bin/hadoop fs -put $(cygpath -w conf) input2

- Jazz

Fighter · **註冊時間:** 2011-03-14, 16:23 **文章:** 45

那我有一個ABC的文字檔上傳的話....
要改哪裡????
還有LINUX的那些指令可在這XP版使用嗎????

jazz · **註冊時間:** 2009-11-09, 19:52 **文章:** 2897

Fighter 寫:

那我有一個ABC的文字檔上傳的話....
要改哪裡????
還有LINUX的那些指令可在這XP版使用嗎????

Cygwin 是在 Windows 上模擬 Linux 的環境，所以多數指令只要有安裝在 Cygwin 都可以執行。
上傳家目錄的 ABC 文字檔 (/home/${USER_ID}/ABC.TXT) 一樣用 hadoop fs -put

代碼:

hadoop@JAZZ ~
$ /opt/hadoop/bin/hadoop fs -put $(cygpath -w ABC.TXT) input3

- Jazz

Taiwan Hadoop Forum

HADOOP的使用

誰在線上