Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-25, 22:59

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 3 篇文章 ] 
發表人 內容
 文章主題 : 目前可有 HDFS 做到如Amazon S3 功能的整合軟體
文章發表於 : 2009-12-01, 21:27 
離線

註冊時間: 2009-12-01, 21:10
文章: 2
想請問各位是否有使用HDFS做到像Amazon S3功能的整合軟體?例如用Amazon EC2 啟動虛擬機器時會從S3取得該虛擬機器的映像檔片段並重新組合還原後啟動,那麼有使用Hadoop 的HDFS去做的嗎?謝謝回答!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 目前可有 HDFS 做到如Amazon S3 功能的整合軟體
文章發表於 : 2009-12-08, 22:21 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
benstyle 寫:
想請問各位是否有使用HDFS做到像Amazon S3功能的整合軟體?例如用Amazon EC2 啟動虛擬機器時會從S3取得該虛擬機器的映像檔片段並重新組合還原後啟動,那麼有使用Hadoop 的HDFS去做的嗎?謝謝回答!


目前就我所知,Cloudera 的 Hadoop 套件是有支援 S3 的,只要把 hdfs://* 取代為 s3n://* 即可。

可參考:http://www.cloudera.com/blog/2009/05/11/using-clouderas-hadoop-amis-to-process-ebs-datasets-on-ec2/


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 目前可有 HDFS 做到如Amazon S3 功能的整合軟體
文章發表於 : 2009-12-08, 22:31 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
benstyle 寫:
想請問各位是否有使用HDFS做到像Amazon S3功能的整合軟體?例如用Amazon EC2 啟動虛擬機器時會從S3取得該虛擬機器的映像檔片段並重新組合還原後啟動,那麼有使用Hadoop 的HDFS去做的嗎?謝謝回答!


關於是否可以用 HDFS 做到類似 S3 的效果,就我目前的了解,
S3 是有點類似 SQLfs,是把所有用戶的檔案塞在同一個 Amazon 主機的實體檔案中,再用 ofset 方式去取得你所要的檔案,
因此檔案系統的特性不太一樣。

--------

至於如果你用 Amazon EC2 的虛擬機器,能否存取某組 Hadoop 的 HDFS,
只要 Hadoop Name Node 跟所有 Hadoop Data Node 都在 public IP,
是可以用 Hadoop Client 的方式,透過設定 hadoop-site.xml 的方式來下 hadoop fs -put / hadoop fs -get 指令
把檔案上傳到 HDFS 跟從 HDFS 下載到本機。

問題的關鍵在於 (1) 透過 Internet 網路,無法發揮最大的效能 (2) EC2 網路傳輸是要算錢的,所以運作成本更高。

--------

若是你希望用 Xen, VirtualBox 或 VMWare 產生自己的 VM,能否用 HDFS 的檔案當 VM Disk,
這涉及必須要將 HDFS 掛載到本機,目前只有 FTPfs 等方式可以掛載,效能不佳,
因此建議如果是要使用這一種情境,可以改採用其他分散式檔案系統,例如:GPFS、Lustre,或支援 Hadoop 的 KFS。

Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 3 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 3 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作