Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-30, 04:13

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : HBase Region Server 掛掉,導致取出資料異常
文章發表於 : 2013-10-22, 10:21 
離線

註冊時間: 2013-05-06, 08:45
文章: 5
各位大家好,
小弟目前使用 Hadoop + HBase 時,有碰到一個問題。就是日前發生 Region Server 異常掛掉後,發現從 HBase 取出的資料
有 data loss 的情況。相同的資料,再 put 一次之後,取出的資料即正確無誤。

另外,我還有進行一個測試是從本機 client 端程式取出資料進行正確性之驗證,其結果與 Server 端內部程式執行結果不太一樣。
感覺就是 Server 端取的資料怪怪的。

想請問的是,若 HBase 相關 Server 因 OutOfMemory 因素導致不正常關機時,其資料是否會發生 data loss 的情況 ?
另外,如果真的會發生,該如何進行資料復原 ? 是否有標準作法可以參考 ?

麻煩大家了


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: HBase Region Server 掛掉,導致取出資料異常
文章發表於 : 2013-10-24, 23:13 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
kenshin 寫:
想請問的是,若 HBase 相關 Server 因 OutOfMemory 因素導致不正常關機時,
其資料是否會發生 data loss 的情況 ?
另外,如果真的會發生,該如何進行資料復原 ? 是否有標準作法可以參考 ?
麻煩大家了


就我理解,確實有可能發生 Data Loss 的情形。因為 HBase 是優先寫入記憶體,然後才 Flush 寫入硬碟。
所以如果 OutOfMemory,資料還沒寫到記憶體,所以也沒寫到硬碟,因而無從進行資料復原。

由於我對 HBase 的熟悉度有限,建議到 HBase.TW 臉書團 討論 :P

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 3 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作