Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-01, 15:37

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 5 篇文章 ] 
發表人 內容
 文章主題 : hadoop 在 append 應用與異地備援
文章發表於 : 2013-11-21, 15:09 
離線

註冊時間: 2011-11-11, 23:41
文章: 79
Hi All,

請教各位先進, 不知在你們的公司裡, or 有人知道
1. hadoop 在 append 的應用, 與異地備援部份有那些實際應用的案例?
2. 如何去架構?

感謝分享.


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop 在 append 應用與異地備援
文章發表於 : 2013-11-21, 21:26 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
top 寫:
Hi All,
請教各位先進, 不知在你們的公司裡, or 有人知道
1. hadoop 在 append 的應用, 與異地備援部份有那些實際應用的案例?
2. 如何去架構?
感謝分享.


不是很確定您講的 append 是否指 HDFS 的 append

目前 HDFS 的 append 最常用在 HBase 上。

至於異地備援,是指 distCp 嘛?
這部份 HDFS 沒有做得比老牌的分散式檔案系統好(Ex. GPFS-WAN)
如果資料差異性複雜度很高,就目前測試的經驗,會很難解。

distCp 的實際應用,就發生在跨 Yahoo 不同國家的資料中心(機房)
Hadoop 叢集必須分享重要的資料(Ex. Search Engine Index)

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop 在 append 應用與異地備援
文章發表於 : 2013-11-22, 08:18 
離線

註冊時間: 2011-11-11, 23:41
文章: 79
Thanks Jazz.

就 hdfs 部份的 append, 有相關案例或應用(若不經由 hbase) 直接在 hdfs 上 append?
(hdfs 直接 append 這樣的應用似乎較少, 我目前尚未找到有相關直接應用)

Thanks.


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop 在 append 應用與異地備援
文章發表於 : 2013-11-22, 09:31 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
top 寫:
Thanks Jazz.
就 hdfs 部份的 append, 有相關案例或應用(若不經由 hbase) 直接在 hdfs 上 append?
(hdfs 直接 append 這樣的應用似乎較少, 我目前尚未找到有相關直接應用)
Thanks.


就我目前看過的資料,沒有印象還有其他直接相關的應用。(或許即使有用,也許不會特別點出有採用 append)

HDFS 本身雖然支援 POSIX 的指令,但有很多特性還是無法跟傳統的 Cluster File System (CFS) 比擬。
個人相信如果有需要 append 的特性,也許會採用 MapR 或者其他 CFS 來取代 HDFS ( 特別是考量效能與便利性的話 )

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop 在 append 應用與異地備援
文章發表於 : 2013-11-22, 23:29 
離線

註冊時間: 2011-11-11, 23:41
文章: 79
jazz 寫:
就我目前看過的資料,沒有印象還有其他直接相關的應用。(或許即使有用,也許不會特別點出有採用 append)
HDFS 本身雖然支援 POSIX 的指令,但有很多特性還是無法跟傳統的 Cluster File System (CFS) 比擬。
個人相信如果有需要 append 的特性,也許會採用 MapR 或者其他 CFS 來取代 HDFS ( 特別是考量效能與便利性的話 )
- Jazz


了解, 會再評估.Thanks!


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 5 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作