Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-30, 03:08

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 4 篇文章 ] 
發表人 內容
 文章主題 : 系統備份
文章發表於 : 2013-12-28, 21:31 
離線

註冊時間: 2011-11-11, 23:41
文章: 79
Hi Dears,

1. 請教有在使用 Hadoop 的, 請問你們公司如何幫 hadoop 做資料備份?
雖然 hdfs 有三個複本, 雖然有 secondary nn and HA...
但這都架構在同一個集群下? 若整個系統壞掉 or 來個地震 .......... 該怎麼辦?

2. 還是你們會建議用什麼方式來幫整個系統做備份?

3. 另外, 一般大家在 HDFS 上的檔案大多是多大呢? 128MB???


Thanks.


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 系統備份
文章發表於 : 2013-12-29, 12:00 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
top 寫:
Hi Dears,
1. 請教有在使用 Hadoop 的, 請問你們公司如何幫 hadoop 做資料備份?
雖然 hdfs 有三個複本, 雖然有 secondary nn and HA...
但這都架構在同一個集群下? 若整個系統壞掉 or 來個地震 .......... 該怎麼辦?
2. 還是你們會建議用什麼方式來幫整個系統做備份?
3. 另外, 一般大家在 HDFS 上的檔案大多是多大呢? 128MB???
Thanks.


1. 您可以參考 Hadoop Operations 第十一章,大致上簡單來說就是 distcp, flume 這幾個工具。當然也可以搭配 DRBD 或 GPFS, Lustre 。

2. 您是指連同 OS 嘛?其實這個問題牽涉很廣,有時還有可能遇到的是要把營運中的升級到另一個新版本的叢集。作法就不一樣。目前我用過的是敝單位研發的「再生龍(Clonezilla)」,可以拿來做 block-based backup/restore (也就是裸機備份還原, bare-metal back/restore)。如果要做 online 差異備份還原,一般是採用 file-base back/restore 的工具,像是 rsync 等。

3. 目前 hadoop.nchc.org.tw 多半都是小檔(KB等級)。個人覺得這個跟叢集的使用者有很大的關係。電信業跟半導體業的搞不好就會很大。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 系統備份
文章發表於 : 2013-12-29, 21:49 
離線

註冊時間: 2011-11-11, 23:41
文章: 79
引言回覆:
3. 目前 hadoop.nchc.org.tw 多半都是小檔(KB等級)。個人覺得這個跟叢集的使用者有很大的關係。電信業跟半導體業的搞不好就會很大。


Thanks Jazz share. 

的確和叢集使用者會有很大的關係ˋ, 我只是好奇那個平均值約會是多少.

這邊有篇文章, 是 EMC 委由 IDC 的研究報告, 到 2020 年 資料將成長至 40ZB, 蠻嚇人的, 先前參加 Intel storage forum 才預估 35ZB,
這麼快就修正到 40ZB.

有興趣的參考: http://www.emc.com/leadership/digital-universe/index.htm

把 ZB 換成 GB 後面要再放幾個 0, 看倌們自行加了 真的是 BIG Data


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 系統備份
文章發表於 : 2013-12-30, 10:42 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
IDC 的報告要注意,我從 1997 年的報告回追過 :P
他們談的是人類產生的資訊量,但並非所有的資訊都會儲存起來
像每天產生的 VoIP (Ex. Skype), 數位電視, 現在時下年輕人流行的 SnapChat (特點:照片閱後即刪)
這些都代表資訊產生量非常快速而龐大,但是很可能存在儲存裝置的時間也會愈變愈短,只有重要「有價值」的資料才需要被儲存下來

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 4 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作