Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-05-24, 08:42

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 3 篇文章 ] 
發表人 內容
 文章主題 : HDFS over FTP 的安裝與設定
文章發表於 : 2011-04-30, 12:05 
離線

註冊時間: 2011-04-06, 13:51
文章: 16
小弟想把 hadoop 當成 ftp 使用 , 想請教有安裝 HDFS-over-FTP 的大大
我的環境是 hadoop-0.20.2, 並使用 VMware 架設一台 NameNode, 兩台 DataNode, 另外再一台當client, 共四台
我參考了以下連結做設定, 下載了並解壓了 hdfs-over-ftp-0.20.0.tar.gz 這個檔案
http://nubetech.co/accessing-hdfs-over-ftp

先新增了使用者: ./register-user.sh vv6 55665566 >> users.conf

再來是小弟的設定: (在 hdfs-over-ftp 目錄底下)
(hdfs-over-ftp.conf)
#uncomment this to run ftp server
port = 21
data-ports = 20
#uncomment this to run ssl ftp server
ssl-port = 990
ssl-data-ports = 989
# hdfs uri
hdfs-uri = hdfs://192.168.91.136:9000
# max number of login
max-logins = 1000
# max number of anonymous login
max-anon-logins = 1000
# have to be a user which runs HDFS
# this allows you to start ftp server as a root to use 21 port
# and use hdfs as a superuser
superuser = hadoop

(users.conf)
# the anonymous user
ftpserver.user.anonymous.userpassword=294DE3557D9D00B3D2D8A1E6AAB028CF
ftpserver.user.anonymous.homedirectory=/pub/
ftpserver.user.anonymous.enableflag=true
ftpserver.user.anonymous.writepermission=false
ftpserver.user.anonymous.maxloginnumber=0
ftpserver.user.anonymous.maxloginperip=0
ftpserver.user.anonymous.idletime=0
ftpserver.user.anonymous.uploadrate=0
ftpserver.user.anonymous.downloadrate=0
ftpserver.user.anonymous.groups=users
# the vv6 user
ftpserver.user.vv6.userpassword=24AA2F85012CA0A45FA4217CBC33A738
ftpserver.user.vv6.homedirectory=/
ftpserver.user.vv6.enableflag=true
ftpserver.user.vv6.writepermission=true
ftpserver.user.vv6.maxloginnumber=0
ftpserver.user.vv6.maxloginperip=0
ftpserver.user.vv6.idletime=0
ftpserver.user.vv6.uploadrate=0
ftpserver.user.vv6.downloadrate=0
ftpserver.user.vv6.groups=vv6,users

設定完之後, 我用 ./hdfs-over-ftp.sh start , 沒出現什麼問題
並且我安裝了curlftpfs 在 client 端, 我下了 sudo curlftpfs -o allow_other ftp://vv6:55665566@192.168.91.136:21 ftpfs
出現-> fuse: bad mount point `ftpfs': No such file or directory
(其實我不知道這指令該下在 NameNode 還是 Client, 指大大們指點)

安裝完之後, 我用 FileZilla 軟體的一般使用者身分去登入 192.168.91.136 , 並輸入使用者及密碼, 結果沒反應
也用 FireFox 打 ftp://192.168.91.136:9000 , 也連不到

請教各位大大我是否有哪個設定檔寫錯, 或是我連線方式不對, 還是有哪個軟體沒裝
我只是想從 Client 端連進 Hadoop 的 HDFS 目錄而已

另外還有一個問題, 就是我 FUSE 怎麼裝都裝不起來, 網路上面的教學文章照做都做不出來,
我連 ant 做compile 的時候都常常出現 Build Faild,
如果有大大願意分享安裝成功的方法那真是感激不盡!!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: HDFS over FTP 的安裝與設定
文章發表於 : 2011-04-30, 12:12 
離線

註冊時間: 2011-04-06, 13:51
文章: 16
還有想問各位大大, 隨意放置 hdfs-over-ftp 這個目錄的位置是否都可以?
還是說必須放在哪個資料夾下?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: HDFS over FTP 的安裝與設定
文章發表於 : 2011-05-01, 14:11 
離線

註冊時間: 2011-04-06, 13:51
文章: 16
解決了, 原來 hdfs-over-ftp-0.20.0.tar.gz 不能支援 hadoop-0.20.2
一定要 hadoop-0.20.0 才可以用
不知道有沒有出 hdfs-over-ftp-0.20.2.tar.gz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 3 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作