Taiwan Hadoop Forum
http://forum.hadoop.tw/

空間不足
http://forum.hadoop.tw/viewtopic.php?f=3&t=37268
1 頁 (共 1 頁)

發表人:  nickhsu.tw [ 2013-02-19, 10:04 ]
文章主題 :  空間不足

請問一下現在系統可用的空間只剩下 1.32G,請問這是正常的嗎?

發表人:  jazz [ 2013-02-20, 10:38 ]
文章主題 :  Re: 空間不足

nickhsu.tw 寫:
請問一下現在系統可用的空間只剩下 1.32G,請問這是正常的嗎?


因為系統已經營運四年了,以前都沒有設定 Quota。
也沒有訂多久會砍掉使用者的資料。現在都是道德勸說。
我前陣子有先把一些超大用量、且已經太久沒有登入的用戶資料移除了。
不料最近又被塞爆~最近正在跑採購程序,希望可以每台節點可以再多加一顆硬碟。

得先大家講一下,以後我們可能會被迫有另外一座是要收費的。
而這一座只要我還在這個位子,會儘量維持可用性....

- Jazz

發表人:  jazz [ 2013-02-20, 22:39 ]
文章主題 :  Re: 空間不足

目前暫時有幾台機器死當,得 2/21 請我同事進機房重開機。同步減少 HDFS 檔案中~

- Jazz

發表人:  nickhsu.tw [ 2013-02-27, 08:28 ]
文章主題 :  Re: 空間不足

jazz 寫:
nickhsu.tw 寫:
請問一下現在系統可用的空間只剩下 1.32G,請問這是正常的嗎?


因為系統已經營運四年了,以前都沒有設定 Quota。
也沒有訂多久會砍掉使用者的資料。現在都是道德勸說。
我前陣子有先把一些超大用量、且已經太久沒有登入的用戶資料移除了。
不料最近又被塞爆~最近正在跑採購程序,希望可以每台節點可以再多加一顆硬碟。

得先大家講一下,以後我們可能會被迫有另外一座是要收費的。
而這一座只要我還在這個位子,會儘量維持可用性....

- Jazz


先感謝國網中心有提供這樣的服務,讓沒有資源的學生可以練習hadoop。

我建議是不是可以限制每個使用者資料儲存的時間(例如資料只能存放在HDFS上面一個月,超過一個月就會移除)。

發表人:  jazz [ 2013-02-27, 16:43 ]
文章主題 :  Re: 空間不足

nickhsu.tw 寫:
先感謝國網中心有提供這樣的服務,讓沒有資源的學生可以練習hadoop。
我建議是不是可以限制每個使用者資料儲存的時間(例如資料只能存放在HDFS上面一個月,超過一個月就會移除)。


嗯,有打算這麼做。但我比較傾向「閒置超過多久」才去處理那份資料。
因為有很多時候,做實驗有可能是超過一個月的。

不過哩....光是要一一找出 HDFS 與 Local File System 超過一個月的檔案資料,就得再另外寫程式管理。
而且最好要有通報機制,例如:閒置超過一個月,先寄通知說某一個目錄資料已經閒置一個月。預計一週內進行封存。
一週內,有新的活動,就回到 Active State。
一週後,用戶不處理,將 HDFS 資料壓縮並下載到某一個下載區。寄信通知說資料放在哪個下載路徑。預計一週後刪除。
一週後,不管用戶有沒有來下載,就把資料移除。

這樣的 Policy,講起來很簡單,但管理工具才是個問題.....怎麼自動化?還是需要人工?

所以這部份機制因為要投入人力資源去做開發,所以應該會放在未來收費的架構裡。
至於目前這一座免費的,目前我能保障的至少到上半年吧~後面我也很難講了~

- Jazz

1 頁 (共 1 頁) 所有顯示的時間為 UTC + 8 小時
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/