Taiwan Hadoop Forum

感謝jazz大大的幫忙，小弟最近有時間都再用hadoop，也買了hadoop技術手冊三版與hadoop實戰技術手冊
我覺得寫得蠻不錯的，推一下
離提了

我想請問一台電腦只會有一個Reducer然後可以有好幾個reduce做平行處理嗎??
因為小弟最近看到setNumReduceTasks()這個方法讓我有點搞不清楚這個是宣告什麼

假設我再伪分散式系統下跑MapReduce，如果我map輸出有6個key
setNumReduceTasks設為3

所以Reducer在執行時是會出現
3個reduce平行處理
key1=>key4
key2=>key5
key3=>key6
這樣嗎??

假設我再全分散式系統下跑MapReduce，如果我有三台電腦做，map輸出有9個key
setNumReduceTasks設為2

是指每台電腦會分到3個key，每台電腦會有兩個reduce平行處理
所以Reducer在執行時是會出現
key1=>key3
key2

請問我這樣有錯嗎，煩請大大門指教

如何指定用幾台電腦做與一台電腦有幾個reduce再跑呢??

再請問一個比較大的問題，
假設今天我map出來的key1資料非常龐大，龐大到一台電腦的reducer根本裝不下
如果有3個map，我可以讓reducer先接收map1得key1資料，處理完把不要的東西洩掉
再處理map2得key1資料，處理完把不要的東西洩掉
再處理map3得key1資料，處理完把不要的東西洩掉...這樣嗎，
如果今天一個key的資料非常龐大，Reducer裝不下，是否能有解覺得辦法呢??
非常感謝大大門回答!

對。



不能把 Reducer 跟電腦劃上等號，因為每台電腦預設可以跑兩個 reducer。
當有三台電腦，合計 6 個 reduce slot (想成三台電腦，每台有兩個插槽，每次有人要用 reduce 會去搶那幾個插槽)
當 setNumReduceTasks 設為 2，意思就是您的程式希望搶到兩個插槽。
至於這兩個插槽是在同一台的兩個插槽，還是兩台機器上各拿到一個插槽，端看機率。

當 mapper 產生 9 個 output key , setNumReduceTask 設為 2
則 Reduce 狀況將是

Reducer Task #1 on Machine A : key 1 -> Key 3 -> Key 5 -> Key 7 -> Key 9
Reducer Task #2 on Machine B : key 2 -> Key 4 -> Key 6 -> Key 8



設定 mapred-site.xml 中的 mapred.tasktracker.reduce.tasks.maximum 參數



這個現象稱為「鍵空間傾斜(skewed keyspace)」，書中有介紹。
此時第一個可能的解法是加入 Combiner，來降低 Mapper 的輸出量。
其次就是讓 mapper 的輸出資料進行「壓縮」(Hadoop MapReduce 支援 Gzip, Gzip2, 也有 LZO 的 patch)



- Jazz

感謝jazz大大。

所以setNumReduceTasks()是代表mapper得輸出後
要分成幾個插槽處理的意思是嗎，如果只有一台電腦，setNumReduceTasks設為2
代表要用兩個Reducer跑，key得數量會平均分配給兩個Reducer



如果有三台電腦，setNumReduceTasks設為2，
還是有可能一台電腦跑兩個Reducer平均分配mapper得key然後其餘兩台電腦不做事
這樣是嗎??

所以這樣的結論，一個Reducer有一個reduce方法，setNumReduceTasks()是
設定要用幾個Reducer來處理這些key，如果我接了一百台電腦，Reducer設為1，
還是只有一台電腦一個Reducer處理全部key是嗎??

感謝大大指教!

1. True.
2. True.

- Jazz

感謝JAZZ大大回答，受益良多!