Taiwan Hadoop Forum

各位好 想請教hadoop cluster 8088 UI web
只有顯示幾個node正常運作
而無運算的過程,結果 running application finish application等
但是有正常的運算 workcount 也有輸出在out2
jobhistory上也沒有任何job紀錄
hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount /input /outputs/out2
以下是mapred設置
<configuration>
<property>
<name>mapreduce.framwork.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>namenode:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>namenode:19888</value>
</property>
</configuration>

yarn設置
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>namenode</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/app-logs</value>
</property>
</configuration>

再請問jobhistory有需要再每個node上運行嗎?
這些設置是namenode和datanode都有需要嗎?

1. Job History 只需要跑在一台上，它是當 YARN 執行的 Job 超過一定數量，或經過一段時間之後，才會把 History 搬過來。
2. 基本上 Master (執行 NameNode 的主機) 跟 Worker (執行 DataNode 的主機) 設定必須要一致，才能正常運作。（通常除非硬體規格不同，或有特定目的才會只單獨修改某一台的設定檔）