Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-07-01, 19:41

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 14 篇文章 ]  前往頁數 上一頁  12
發表人 內容
 文章主題 : Re: hadoop安裝問題
文章發表於 : 2012-08-09, 18:48 
離線

註冊時間: 2012-08-05, 11:23
文章: 11
jazz 寫:
ecrdc7 寫:
IP的部份在安裝虛擬機時 並沒有特別設定耶 他直接自動抓取 剛看了一下 虛擬機上都是用NAT
netmask 皆是255.255.255.0 請問要怎麼設定呢?
如果能將虛擬機都的IP 192.168.158.129(132,133,) 設定成實體IP, 那會成功嗎 ?


我的建議啦~初學者還是把 NameNode 搬到 VM 裏面去好了,
因為還沒搞懂 NAT 、Bridge 跟 Host-Only 的差別,
一開始就卡在網路架構似乎有點無妄之災。

以您現在的網路架構 192.168.158.{129,132,133} 可以連上 192.168.1.16
但 192.168.1.16 連不回 192.168.158.{129,132,133}。(有點懶得畫新的圖了)
附加檔案:
vmnet-1.png

( NAT 就像家裡的 IP 分享器一樣,背後接的每一台電腦都可以上網,可是外面的駭客連不到家裡的電腦,是天然的防火牆 )
如果 NameNode, HBase 都跑在 VM 裏面,縱使全部用 NAT,也不會遇到目前的問題。

如果真的想要解決目前這樣架構的問題,必須建立 tap0 作為 Host 與 VM 之間的 Switch。
然後手動設定每一個網路裝置的連線,如果要讓 VM 可以透過 tap0 連外部網路,
還得用 iptables 加入 NAT 的 post route,真是太麻煩了~

- Jazz


目前已經將namenode 裝在虛擬機上了 但是在hbase上還是遇到沒有hmaster的問題
按照前面貼的網站http://www.haogongju.net/art/1042661 做 獨立安裝zookeeper 為什麼可以和hbase錯開裝
這樣不會有影響嗎
重新說明安裝環境
00 (192.168.158.135) hadoop hbase zookeeper(按照網站說的先在這台將hadoop hbase zookeeper安裝設定完 在丟到個別需要的電腦)
01 (192.168.158.136) hadoop hbase
02 (192.168.158.138) hadoop hbase zookeeper
03 (192.168.158.139) hbase zookeeper
04 (192.168.158.141) zookeeper

無密碼設置是在 00上和 01(02, 03, 04)間可用
在hbase.site上是這樣設定
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.158.135:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>192.168.158.136</value>
</property>
執行hbase時要在 00 還是 01 底下?
也就是說啟動hbase是要在namenode下還是 hmaster下
我看過有些網站的namenode和 hmaster都在同一台
但是依照此網站是不同的耶
另外zookeeper的部份 有某個網站說要把zoo.cfg複製到hbase.classpath
但是我找不到hbase.classpath這個東西

不好意思 我的問題稍微多了一些 請指教 謝謝


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop安裝問題
文章發表於 : 2012-08-09, 19:21 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
ecrdc7 寫:
按照前面貼的網站http://www.haogongju.net/art/1042661 做 獨立安裝zookeeper 為什麼可以和hbase錯開裝
這樣不會有影響嗎


老實說,我裝 HBase 0.20.6 的時候不用獨立裝 ZooKeeper (因為內含在 HBase 0.20.6 了)
HBase 0.90.3 是否要獨立裝,我就不確定了。

ecrdc7 寫:
執行hbase時要在 00 還是 01 底下?
也就是說啟動hbase是要在namenode下還是 hmaster下
我看過有些網站的namenode和 hmaster都在同一台
但是依照此網站是不同的耶


理論上只要設定檔正確,hbase shell 是透過 ZooKeeper 去問哪一台是 HMaster,所以不限定 hbase shell 在哪一台上執行。

ecrdc7 寫:
另外zookeeper的部份 有某個網站說要把zoo.cfg複製到hbase.classpath
但是我找不到hbase.classpath這個東西


當初在 0.20.6 的時候,不用自己設定 zookeeper,所以不必做這樣的動作。hbase.classpath 應該是只 HBase 安裝路徑的 lib 。

- Jazz

PS. 附件是兩隻在 Ubuntu 上安裝 Hadoop 1.0.3 跟 HBase 0.20.6 的 script,對於 HBase 0.90.3 合不合用,待確認。
建議您先在單機可以跑成功。我正在跑 Hadoop 1.0.3 + HBase 0.94.1 (目前 stable 版)


附加檔案:
install-hbase.txt [2.3 KiB]
被下載 597 次
install-hadoop-1.0.3-precise.txt [4.25 KiB]
被下載 590 次
回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop安裝問題
文章發表於 : 2012-08-09, 20:37 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
剛試過 Ubuntu 12.04 + Hadoop 1.0.3 + HBase 0.94.1 單機版是 OK 的
更新 install-hbase 腳本如附件。至於叢集版喔,等我有空再修了~
前陣子有寫一隻 hicloud-hadoop 的腳本,可以在多台 VM 或 hicloud VM 裝好 Hadoop。
還沒加入 HBase 安裝。下載: 0.0.1 alpha 版
原始碼: http://github.com/jazzwang/hicloud-hadoop
當然因為 hicloud 現在是 Ubuntu 10.04 正常還可以加 partner repository
但是 Ubuntu 12.04 的 VM 就會發生 Java Runtime 裝不起來的問題(這是 Ubuntu 不願意再提供 sun-java6-jdk 套件造成的)。

當然可以每台都跑單機版一次,然後做一個動作。
代碼:
/opt/hadoop/bin/hadoop-daemon.sh stop tasktracker
/opt/hadoop/bin/hadoop-daemon.sh stop datanode
/opt/hadoop/bin/hadoop-daemon.sh stop jobtracker
/opt/hadoop/bin/hadoop-daemon.sh stop namenode
/opt/hadoop/bin/hbase-daemon.sh stop regionserver
/opt/hadoop/bin/hbase-daemon.sh stop master
/opt/hadoop/bin/hbase-daemon.sh stop zookeeper


接著修改設定檔把 /opt/hadoop/conf/core-site.xml 的 localhost 改成 NameNode 的 IP
把 /opt/hbase/conf/hbase-site.xml 的 localhost 改成 NameNode 的 IP

在 NameNode 那台下
代碼:
/opt/hadoop/bin/hadoop-daemon.sh start namenode

在 JobTracker 那台下
代碼:
/opt/hadoop/bin/hadoop-daemon.sh start namenode

在 HMaster 那台下
代碼:
/opt/hbase/bin/hbase-daemon.sh start master

在要跑 DataNode 的每一台跑
代碼:
/opt/hadoop/bin/hadoop-daemon.sh start datanode

在要跑 TaskTracker 的每一台跑
代碼:
/opt/hadoop/bin/hadoop-daemon.sh start tasktracker

在要跑 ZooKeeper 的每一台跑
代碼:
/opt/hbase/bin/hbase-daemon.sh start zookeeper

在要跑 RegionServer 的每一台跑
代碼:
/opt/hbase/bin/hbase-daemon.sh start regionserver


- Jazz


附加檔案:
install-hbase-0.94.1-precise.txt [2.38 KiB]
被下載 628 次
回頂端
 個人資料 E-mail  
 
 文章主題 : Re: hadoop安裝問題
文章發表於 : 2012-08-09, 20:59 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
http://hadoop.nchc.org.tw/phpbb/viewtopic.php?f=4&t=36115

hadoop 1.0.3 在 ubuntu 12.04 上的單機安裝腳本
代碼:
~$ wget http://hadoop.nchc.org.tw/~jazz/temp/install-hadoop-1.0.3-precise
~$ chmod a+x install-hadoop-1.0.3-precise
~$ ./install-hadoop-1.0.3-precise

然後輸入 sudo 密碼,接下來應該就會看到安裝 sun-java6-jdk 、下載 hadoop-1.0.3.tar.gz 跟設定 hadoop 1.0.3 的流程。
這樣跑會用您目前的身份執行 hadoop,裝好後,請用 jps 確認是否有 NN, DN, JT, TT 在背景跑。若有,可用 w3m http://localhost:50070http://localhost:50030 檢查 HDFS 與 MapReduce 的狀態
底下是 hbase 0.94.1 在 ubuntu 12.04 上的單機安裝腳本
代碼:
~$ wget http://hadoop.nchc.org.tw/~jazz/temp/install-hbase-0.94.1-precise
~$ chmod a+x install-hbase-0.94.1-precise
~$ ./install-hbase-0.94.1-precise

然後輸入 sudo 密碼,接下來應該就會看到下載 hbase-0.94.1.tar.gz 跟設定 hbase 0.94.1 的流程。請用 jps 確認是否有 HMaster, HRegionServer 跟 HQuorumPeer 在背景跑。若有,可用 w3m http://localhost:60010 看 HMaster 的頁面。

- Jazz


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 14 篇文章 ]  前往頁數 上一頁  12

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 0 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作