Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-29, 02:11

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 6 篇文章 ] 
發表人 內容
 文章主題 : 平均分配
文章發表於 : 2013-10-25, 22:31 
離線

註冊時間: 2013-10-25, 22:12
文章: 3
大家好:

我有三台電腦,有安裝hadoop+hbase,主結點上有安裝thrift
用PHP播影片,
想請教各位在播放時,會平均分配到每一個節點嗎?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 平均分配
文章發表於 : 2013-10-25, 22:37 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
sx801124 寫:
大家好:
我有三台電腦,有安裝hadoop+hbase,主結點上有安裝thrift
用PHP播影片,
想請教各位在播放時,會平均分配到每一個節點嗎?


若問題純粹是想做到 PHP 撥影片,可以平均分配在三台電腦,那架設 Load Balancer 就可以了。

要看有幾個連線來源,這些連線來源要看的內容是否為同一個影片。
若是同一個影片,該影片存在 HBase 中是某個 row key
只歸某台 RegionServer 管,那所有連線來源還是連同一台 RegionServer。
所以跟使用情境、row key 的選擇有關,沒有絕對的答案(i.e. 不一定會平均分配到每一個節點)

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 平均分配
文章發表於 : 2013-10-27, 12:50 
離線

註冊時間: 2013-10-25, 22:12
文章: 3
謝謝jazz大的解答
因為我現在要做的是想利用看影片時,三台的有分配到(不一定要平均),並且看每一台的工作量
但是影片的RegionServer只在其中一台,所以我不是很了解其他台是否在播放時是否有分配到


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 平均分配
文章發表於 : 2013-10-27, 16:09 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
sx801124 寫:
因為我現在要做的是想利用看影片時,三台的有分配到(不一定要平均),並且看每一台的工作量
但是影片的RegionServer只在其中一台,所以我不是很了解其他台是否在播放時是否有分配到


我覺得問題的陳述還漏了一些資訊:

(1) 影片與 HBase 的關聯性並未載明:

  影片存放於 HBase 中?還是 HBase 僅存放影片的索引(Ex. 影片 A = 某個 URL )?
  不同的設計方式,解法跟狀況也就不同。
  沒有系統架構圖,說真的,很難猜測到底會是怎麼分配,因為連如何觸發分配的行為都無法猜測。

(2) 工作量 = CPU 使用量?網路使用量?網路連線數?

因為缺乏背景資訊,因此我只能很大略地回覆,若是要判斷是否有分配到,請用 netstat 觀察連線數吧。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 平均分配
文章發表於 : 2013-10-29, 18:45 
離線

註冊時間: 2013-10-25, 22:12
文章: 3
我的PHP寫入video這個table裡面
附加檔案:
Screenshot-5.png
Screenshot-5.png [ 137.4 KiB | 被瀏覽 5674 次 ]



影片寫入ROW裡面
附加檔案:
Screenshot-6.jpg
Screenshot-6.jpg [ 235.26 KiB | 被瀏覽 5674 次 ]



工作量的部分我想看到每一台網路使用量,看三台是否都有work


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 平均分配
文章發表於 : 2013-10-29, 23:27 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
1. 感覺 video 跟 row 都是存放「索引(Index)」資訊,與實際的影音檔案是分離的
2. video 顯示只有一個 region server ,代表資料量還不夠多,在沒做強迫分配到三台之前,只有一台會有流量。

引言回覆:
region按大小分割的,每個表一開始只有一個region,隨著數據不斷插入表,region不斷增大,當增大到一個閥值的時候,Hregion就會等分會兩個新的Hregion。當table中的行不斷增多,就會有越來越多的Hregion。

Ref:http://blog.sina.com.cn/s/blog_62b8329101019xkk.html

由於我缺乏實務驗證,可能要看能否將 HBase 的某個參數調低,好讓資料量少的時候,也可以看到資料分配在不同 RegionServer
Ref: http://hbase.apache.org/book/config.files.html
引言回覆:
hbase.hregion.max.filesize

Maximum HStoreFile size. If any one of a column families' HStoreFiles has grown to exceed this value, the hosting HRegion is split in two.

Default: 10737418240


或者在 video 那張圖的 split 按鈕填入"movie.ogg"跟"movies.mp4",看 RegionServer 個數會不會變多。

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 6 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作