Taiwan Hadoop Forum
http://forum.hadoop.tw/

請教hadoop cluster 8088 沒顯示任何application 而jobhistory無job
http://forum.hadoop.tw/viewtopic.php?f=4&t=38323		 第 1 頁 (共 1 頁)
發表人:  zhan [ 2016-06-14, 19:18 ]
文章主題 :  請教hadoop cluster 8088 沒顯示任何application 而jobhistory無job
各位好 想請教hadoop cluster 8088 UI web
只有顯示幾個node正常運作
而無運算的過程,結果 running application finish application等
但是有正常的運算 workcount 也有輸出在out2
jobhistory上也沒有任何job紀錄
hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount /input /outputs/out2
以下是mapred設置
<configuration>
<property>
<name>mapreduce.framwork.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>namenode:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>namenode:19888</value>
</property>
</configuration>

yarn設置
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>namenode</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/app-logs</value>
</property>
</configuration>

再請問jobhistory有需要再每個node上運行嗎?
這些設置是namenode和datanode都有需要嗎?
發表人:  jazz [ 2016-06-24, 21:46 ]
文章主題 :  Re: 請教hadoop cluster 8088 沒顯示任何application 而jobhistory無job
zhan 寫:
再請問jobhistory有需要再每個node上運行嗎?
這些設置是namenode和datanode都有需要嗎?


1. Job History 只需要跑在一台上，它是當 YARN 執行的 Job 超過一定數量，或經過一段時間之後，才會把 History 搬過來。
2. 基本上 Master (執行 NameNode 的主機) 跟 Worker (執行 DataNode 的主機) 設定必須要一致，才能正常運作。（通常除非硬體規格不同，或有特定目的才會只單獨修改某一台的設定檔）

zhan 寫:
各位好 想請教hadoop cluster 8088 UI web
只有顯示幾個node正常運作
而無運算的過程,結果 running application finish application等
但是有正常的運算 workcount 也有輸出在out2
jobhistory上也沒有任何job紀錄
代碼:
hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount /input /outputs/out2

以下是mapred設置
代碼:
<configuration>
   <property>
      <name>mapreduce.framwork.name</name>
      <value>yarn</value>
   </property>

   <property>
      <name>mapreduce.jobhistory.address</name>
      <value>namenode:10020</value>
   </property>

   <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>namenode:19888</value>
   </property>
</configuration>


yarn設置
代碼:
<configuration>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>

   <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>namenode</value>
   </property>
   <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
   </property>

   <property>
      <name>yarn.nodemanager.remote-app-log-dir</name>
      <value>/app-logs</value>
   </property>
</configuration>


再請問jobhistory有需要再每個node上運行嗎?
這些設置是namenode和datanode都有需要嗎?
第 1 頁 (共 1 頁) 所有顯示的時間為 UTC + 8 小時
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/