Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2017-03-31, 08:35

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : 求助,MapReduce新手的一個問題請教
文章發表於 : 2017-01-11, 11:53 
離線

註冊時間: 2017-01-11, 11:39
文章: 1
大家好,小弟目前正在研究MapReduce中的一些運作方式,

其中有一個問題就是說,如果我Mapper的SplitSize為2倍或3倍的block size大小,

那麼,我在執行Mapper任務的時候會是全部的blocks到了才開始動作嗎?或者可以讓Mapper一個block size到了就先開始動作?

請幫忙小弟吧各位 :roll: ,謝謝了 :)


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 求助,MapReduce新手的一個問題請教
文章發表於 : 2017-01-12, 14:43 
離線

註冊時間: 2009-11-09, 19:52
文章: 2889
h31949913 寫:
大家好,小弟目前正在研究MapReduce中的一些運作方式,
其中有一個問題就是說,如果我Mapper的SplitSize為2倍或3倍的block size大小,
那麼,我在執行Mapper任務的時候會是全部的blocks到了才開始動作嗎?或者可以讓Mapper一個block size到了就先開始動作?
請幫忙小弟吧各位 :roll: ,謝謝了 :)


這是一個關於 InputSplit 與 Block 的差異問題。
可參考:http://stackoverflow.com/questions/30549261/split-size-vs-block-size-in-hadoop

預設如果使用 HDFS 而且不指定 Split Size 的話,Split Size = Block Size,Mapper 一次處理一個 Block
但如果設定 Split Size = Block Size * N 的話,那 Mapper 會讀入 N 個 Block 視為一個 Input Split 才執行 map() 函數。

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作