Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2017-07-20, 20:36

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 2 篇文章 ] 
發表人 內容
 文章主題 : 請教hadoop cluster 8088 沒顯示任何application 而jobhistory無job
文章發表於 : 2016-06-14, 19:18 
離線

註冊時間: 2016-06-14, 14:50
文章: 1
各位好 想請教hadoop cluster 8088 UI web
只有顯示幾個node正常運作
而無運算的過程,結果 running application finish application等
但是有正常的運算 workcount 也有輸出在out2
jobhistory上也沒有任何job紀錄
hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount /input /outputs/out2
以下是mapred設置
<configuration>
<property>
<name>mapreduce.framwork.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>namenode:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>namenode:19888</value>
</property>
</configuration>

yarn設置
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>namenode</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/app-logs</value>
</property>
</configuration>

再請問jobhistory有需要再每個node上運行嗎?
這些設置是namenode和datanode都有需要嗎?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 請教hadoop cluster 8088 沒顯示任何application 而jobhistory無job
文章發表於 : 2016-06-24, 21:46 
離線

註冊時間: 2009-11-09, 19:52
文章: 2894
zhan 寫:
再請問jobhistory有需要再每個node上運行嗎?
這些設置是namenode和datanode都有需要嗎?


1. Job History 只需要跑在一台上,它是當 YARN 執行的 Job 超過一定數量,或經過一段時間之後,才會把 History 搬過來。
2. 基本上 Master (執行 NameNode 的主機) 跟 Worker (執行 DataNode 的主機) 設定必須要一致,才能正常運作。(通常除非硬體規格不同,或有特定目的才會只單獨修改某一台的設定檔)

zhan 寫:
各位好 想請教hadoop cluster 8088 UI web
只有顯示幾個node正常運作
而無運算的過程,結果 running application finish application等
但是有正常的運算 workcount 也有輸出在out2
jobhistory上也沒有任何job紀錄
代碼:
hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount /input /outputs/out2

以下是mapred設置
代碼:
<configuration>
   <property>
      <name>mapreduce.framwork.name</name>
      <value>yarn</value>
   </property>

   <property>
      <name>mapreduce.jobhistory.address</name>
      <value>namenode:10020</value>
   </property>

   <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>namenode:19888</value>
   </property>
</configuration>


yarn設置
代碼:
<configuration>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>

   <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>namenode</value>
   </property>
   <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
   </property>

   <property>
      <name>yarn.nodemanager.remote-app-log-dir</name>
      <value>/app-logs</value>
   </property>
</configuration>


再請問jobhistory有需要再每個node上運行嗎?
這些設置是namenode和datanode都有需要嗎?


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 2 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作