Taiwan Hadoop Forum

有幾個問題想請教各位先進

我使用hadoop streaming來進行視訊轉碼的job

轉碼由map進行，因此不希望執行reduce，以減少整個job的工作時間

下達的命令如下：


問題1：我沒有給予reduce的function也沒下達reduce的命令

為什麼job結束後查看50030網頁，reduce還是有被執行呢？



問題2：假設將一部影片切割成4段，由4個data node分別來執行這4段影片的轉碼

我希望4個data node轉碼完成後，就可以直接提供給用戶觀看影片

但考慮到分段後有播放順序的問題，不知是否有什麼方法可以實現上述的想法？

請加上 -numReduceTasks 0 把 reducer 個數設為零，就不會有 reducer。

- Jazz

~$ hadoop jar hadoop-streaming.jar --help
13/12/15 23:53:54 ERROR streaming.StreamJob: Missing required options: input, output
Usage: $HADOOP_HOME/bin/hadoop jar \
$HADOOP_HOME/hadoop-streaming.jar [options]
Options:
-input <path> DFS input file(s) for the Map step
-output <path> DFS output directory for the Reduce step
-mapper <cmd|JavaClassName> The streaming command to run
-combiner <cmd|JavaClassName> The streaming command to run
-reducer <cmd|JavaClassName> The streaming command to run
-file <file> File/dir to be shipped in the Job jar file
-inputformat TextInputFormat(default)|SequenceFileAsTextInputFormat|JavaClassName Optional.
-outputformat TextOutputFormat(default)|JavaClassName Optional.
-partitioner JavaClassName Optional.
-numReduceTasks <num> Optional.
-inputreader <spec> Optional.
-cmdenv <n>=<v> Optional. Pass env.var to streaming commands
-mapdebug <path> Optional. To run this script when a map task fails
-reducedebug <path> Optional. To run this script when a reduce task fails
-io <identifier> Optional.
-verbose