Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-29, 02:22

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 3 篇文章 ] 
發表人 內容
 文章主題 : Hadoop4win cluster問題
文章發表於 : 2014-03-31, 00:03 
離線

註冊時間: 2014-03-28, 05:43
文章: 2
小弟僅在去年淺淺使用過別人架好的Hadoop來跑一些程式,

對於架設方面一無所知,

最近受人之託要在windows下幫他架起Hadoop cluster,

照著此論壇的文章:http://forum.hadoop.tw/viewtopic.php?f=4&t=71做了一遍,

感覺與單機好像沒有差別,但也不知如何檢驗,

檢查http://localhost:50070/dfshealth.jsp 和 http://localhost:50030/jobtracker.jsp

看到Nodes和Live Nodes仍為1。

想請問該篇文章內的步驟即為完整的設定方式嗎?還是仍有細節需要調校的?

master和slave這兩個檔案需要做修改嗎?

煩請各位高手解惑,謝謝!


環境:同一實體IP下用分享器分出來的筆電&桌電各一台,皆為虛擬IP,一個接線一個無線網路

版本:Hadoop4win 0.1.5 alpha


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Hadoop4win cluster問題
文章發表於 : 2014-03-31, 23:56 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
scorpion2272 寫:
小弟僅在去年淺淺使用過別人架好的Hadoop來跑一些程式,
對於架設方面一無所知,
最近受人之託要在windows下幫他架起Hadoop cluster,
照著此論壇的文章:http://forum.hadoop.tw/viewtopic.php?f=4&t=71做了一遍,
感覺與單機好像沒有差別,但也不知如何檢驗,
檢查http://localhost:50070/dfshealth.jsp 和 http://localhost:50030/jobtracker.jsp
看到Nodes和Live Nodes仍為1。
想請問該篇文章內的步驟即為完整的設定方式嗎?還是仍有細節需要調校的?
master和slave這兩個檔案需要做修改嗎?
煩請各位高手解惑,謝謝!
環境:同一實體IP下用分享器分出來的筆電&桌電各一台,皆為虛擬IP,一個接線一個無線網路
版本:Hadoop4win 0.1.5 alpha


先前曾經在課堂上嘗試串聯過三台以上 Windows, 有幾點必須先確定:
(1) 每台 Windows 啟動 hadoop4win 的使用者身份必須一致 (Ex. hadoop)
(2) 每台 Windows 的主機名稱是不同的
(3) 請在 C:\Windows\System32\drivers\etc\hosts (Windows 7/XP) 放置主機名稱與 IP 列表的對應

假設桌電為 192.168.60.18 主機名稱為 hdp1 , 用來執行 NN, DN, TT
而筆電則為 192.168.60.22 主機名稱為 hdp2 , 用來執行 JT, DN, TT

則桌電與筆電請放置一樣的 hosts 檔案,內容為
代碼:
192.168.60.18 hdp1
192.168.60.22 hdp2


接著,複製 C:\hadoop4win\opt\hadoop\conf-pseudo 目錄到 C:\hadoop4win\opt\hadoop\conf-full
將兩台的 conf-full 底下的 core-site.xml 中的 localhost 換為 192.168.60.18
而 conf-full 底下的 mapred-site.xml 中的 localhost 換為 192.168.60.22

接著,在 hadoop4win 的 Cygwin 視窗中,將原本的 /opt/hadoop/conf 移除,連結到 conf-full
代碼:
cd /opt/hadoop
rm conf
ln -s conf-full conf


在桌電執行
代碼:
/opt/hadoop/bin/hadoop-daemon.sh start namenode
/opt/hadoop/bin/hadoop-daemon.sh start datanode
/opt/hadoop/bin/hadoop-daemon.sh start tasktracker


在筆電執行
代碼:
/opt/hadoop/bin/hadoop-daemon.sh start jobtracker
/opt/hadoop/bin/hadoop-daemon.sh start datanode
/opt/hadoop/bin/hadoop-daemon.sh start tasktracker


連線至桌電觀看 NameNode 網頁介面 http://192.168.60.18:50070
連線至筆電觀看 JobTracker 網頁介面 http://192.168.60.22:50030

確認 Node 個數是否為 2

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: Hadoop4win cluster問題
文章發表於 : 2014-05-06, 18:44 
離線

註冊時間: 2014-03-28, 05:43
文章: 2
非常謝謝!問題有解決了!


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 3 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 1 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作