Taiwan Hadoop Forum

小弟知道透過inputformat
讀取文件以及分割成<k.v>，之後送給mapper當成input
想請問板上大大
1.在source code中，mapper是在哪邊將inputformat分割完的資料讀入呢?
2.inputformat是讀到file name，之後再到hdfs中找到此file在哪個node，若大於64mb就分割，並且開啟運算在此node上，這樣不知道是否有誤解錯的地方?
先感謝各位!

1. InputFormat 中的 RecordReader 會將 InputSplit 的每一筆 <K,V> 讀入，給 map() 函數當輸入。
2. 優先在資料所在的節點執行(Data Locality)，同一櫃(Rack-Local)次之，不同櫃最後。

- Jazz

先謝過Jazz大，小弟這幾天trace FileInputFotmat 以及 TextInputFormat(extends FileInputFormat)
已經了解FileInputFotmat#getSplit() 將資料邏輯分割成多個FileSplit的步驟
而在TextInputFormat#createRecordReader()將FileSplit中的chunk分成一筆一筆的<k,v>給map()讀入部分
透過return new LineRecordReader()達成，而在LineRecordReader#initialize()這個函式中
會依照FileSplit去讀真的data，但是始終找不到，在哪邊有call initialize()這個函式
抑或是小弟有想法錯誤的地方，再請有經驗的大大幫助
感謝!

我確實曾追到 LineRecordReader 的部份，不過沒有仔細追進去。

有些流程是框架(Framework)運用物件導向的特性(多型性)達成的，
所以真的要追，可能得往 TaskTracker 的 Child 物件追了。

- Jazz