Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-03, 20:17

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : 使用hadoop streaming進行視訊轉碼相關問題
文章發表於 : 2013-12-15, 07:55 
離線

註冊時間: 2012-09-14, 10:32
文章: 16
有幾個問題想請教各位先進

我使用hadoop streaming來進行視訊轉碼的job

轉碼由map進行,因此不希望執行reduce,以減少整個job的工作時間

下達的命令如下:

代碼:
bin/hadoop jar /home/hadoop/hadoop-0.20.2/contrib/streaming/hadoop-0.20.2-streaming.jar
-input movies_input -output movies_output -mapper mapper.sh -file mapper.sh

問題1:我沒有給予reduce的function也沒下達reduce的命令

為什麼job結束後查看50030網頁,reduce還是有被執行呢?
附加檔案:
檔案註釋: 50030網頁
50030.jpg
50030.jpg [ 44.98 KiB | 被瀏覽 3754 次 ]

附加檔案:
檔案註釋: reduce執行時間
reduce執行時間.jpg
reduce執行時間.jpg [ 32.14 KiB | 被瀏覽 3754 次 ]


問題2:假設將一部影片切割成4段,由4個data node分別來執行這4段影片的轉碼

我希望4個data node轉碼完成後,就可以直接提供給用戶觀看影片

但考慮到分段後有播放順序的問題,不知是否有什麼方法可以實現上述的想法?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 使用hadoop streaming進行視訊轉碼相關問題
文章發表於 : 2013-12-15, 23:55 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
請加上 -numReduceTasks 0 把 reducer 個數設為零,就不會有 reducer。

- Jazz

    ~$ hadoop jar hadoop-streaming.jar --help
    13/12/15 23:53:54 ERROR streaming.StreamJob: Missing required options: input, output
    Usage: $HADOOP_HOME/bin/hadoop jar \
    $HADOOP_HOME/hadoop-streaming.jar [options]
    Options:
    -input <path> DFS input file(s) for the Map step
    -output <path> DFS output directory for the Reduce step
    -mapper <cmd|JavaClassName> The streaming command to run
    -combiner <cmd|JavaClassName> The streaming command to run
    -reducer <cmd|JavaClassName> The streaming command to run
    -file <file> File/dir to be shipped in the Job jar file
    -inputformat TextInputFormat(default)|SequenceFileAsTextInputFormat|JavaClassName Optional.
    -outputformat TextOutputFormat(default)|JavaClassName Optional.
    -partitioner JavaClassName Optional.
    -numReduceTasks <num> Optional.
    -inputreader <spec> Optional.
    -cmdenv <n>=<v> Optional. Pass env.var to streaming commands
    -mapdebug <path> Optional. To run this script when a map task fails
    -reducedebug <path> Optional. To run this script when a reduce task fails
    -io <identifier> Optional.
    -verbose


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作