Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-26, 10:31

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : 計數器
文章發表於 : 2010-01-07, 04:47 
離線

註冊時間: 2010-01-06, 10:31
文章: 4
我想請問一下!!
在mapper中,可以做reporter.incrCounter(xxx.Counter.TRANSACTIONS, 1);的計數器功能,
那有沒有辦法在reduce中去讀取這個計數器的值?

因為我的需求是要在reduce中知道我的mapper讀取了幾行資料!!
希望有人給我一些想法 :)

感謝!!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 計數器
文章發表於 : 2010-01-08, 23:07 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
Ken_Wu 寫:
我想請問一下!!
在mapper中,可以做reporter.incrCounter(xxx.Counter.TRANSACTIONS, 1);的計數器功能,
那有沒有辦法在reduce中去讀取這個計數器的值?

因為我的需求是要在reduce中知道我的mapper讀取了幾行資料!!
希望有人給我一些想法 :)

感謝!!


由於 Mapper 跟 Reducer 可能在不同機器上跑,程序不互通,也沒辦法透過 static 變數來存。
我第一個直覺是把 reporter.getCounter() 的結果寫到 HDFS 的一個檔案,讓 Reducer 去讀不知可不可行呢?

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作