Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2017-02-23, 10:34

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 5 篇文章 ] 
發表人 內容
 文章主題 : 空間不足
文章發表於 : 2013-02-19, 10:04 
離線

註冊時間: 2011-01-03, 20:26
文章: 6
請問一下現在系統可用的空間只剩下 1.32G,請問這是正常的嗎?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 空間不足
文章發表於 : 2013-02-20, 10:38 
離線

註冊時間: 2009-11-09, 19:52
文章: 2886
nickhsu.tw 寫:
請問一下現在系統可用的空間只剩下 1.32G,請問這是正常的嗎?


因為系統已經營運四年了,以前都沒有設定 Quota。
也沒有訂多久會砍掉使用者的資料。現在都是道德勸說。
我前陣子有先把一些超大用量、且已經太久沒有登入的用戶資料移除了。
不料最近又被塞爆~最近正在跑採購程序,希望可以每台節點可以再多加一顆硬碟。

得先大家講一下,以後我們可能會被迫有另外一座是要收費的。
而這一座只要我還在這個位子,會儘量維持可用性....

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 空間不足
文章發表於 : 2013-02-20, 22:39 
離線

註冊時間: 2009-11-09, 19:52
文章: 2886
目前暫時有幾台機器死當,得 2/21 請我同事進機房重開機。同步減少 HDFS 檔案中~

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 空間不足
文章發表於 : 2013-02-27, 08:28 
離線

註冊時間: 2011-01-03, 20:26
文章: 6
jazz 寫:
nickhsu.tw 寫:
請問一下現在系統可用的空間只剩下 1.32G,請問這是正常的嗎?


因為系統已經營運四年了,以前都沒有設定 Quota。
也沒有訂多久會砍掉使用者的資料。現在都是道德勸說。
我前陣子有先把一些超大用量、且已經太久沒有登入的用戶資料移除了。
不料最近又被塞爆~最近正在跑採購程序,希望可以每台節點可以再多加一顆硬碟。

得先大家講一下,以後我們可能會被迫有另外一座是要收費的。
而這一座只要我還在這個位子,會儘量維持可用性....

- Jazz


先感謝國網中心有提供這樣的服務,讓沒有資源的學生可以練習hadoop。

我建議是不是可以限制每個使用者資料儲存的時間(例如資料只能存放在HDFS上面一個月,超過一個月就會移除)。


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 空間不足
文章發表於 : 2013-02-27, 16:43 
離線

註冊時間: 2009-11-09, 19:52
文章: 2886
nickhsu.tw 寫:
先感謝國網中心有提供這樣的服務,讓沒有資源的學生可以練習hadoop。
我建議是不是可以限制每個使用者資料儲存的時間(例如資料只能存放在HDFS上面一個月,超過一個月就會移除)。


嗯,有打算這麼做。但我比較傾向「閒置超過多久」才去處理那份資料。
因為有很多時候,做實驗有可能是超過一個月的。

不過哩....光是要一一找出 HDFS 與 Local File System 超過一個月的檔案資料,就得再另外寫程式管理。
而且最好要有通報機制,例如:閒置超過一個月,先寄通知說某一個目錄資料已經閒置一個月。預計一週內進行封存。
一週內,有新的活動,就回到 Active State。
一週後,用戶不處理,將 HDFS 資料壓縮並下載到某一個下載區。寄信通知說資料放在哪個下載路徑。預計一週後刪除。
一週後,不管用戶有沒有來下載,就把資料移除。

這樣的 Policy,講起來很簡單,但管理工具才是個問題.....怎麼自動化?還是需要人工?

所以這部份機制因為要投入人力資源去做開發,所以應該會放在未來收費的架構裡。
至於目前這一座免費的,目前我能保障的至少到上半年吧~後面我也很難講了~

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 5 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作