Taiwan Hadoop Forum

我現在有兩個不同網段的IP(以下列IP來代體實體IP發問問題)
環境:virtualbox + ubuntu 12.04 LTS Desktop(32)
主機A:192.168.0.1
主機B:192.168.1.1

在做兩邊不同網域的資料庫備援(cassandra),發現A和B互相ping都不通，貌似是這個原因造成A和B資料庫無法連成叢集
造成無法實現備援的結果，想請問有哪到指令可以關閉ICMP限制?
或者是如何將兩邊設定成，A可以辨識B的網域IP，而B也可以辨識A網域的IP，然後相互ping IP可以通?

請問您是採用 NAT ? Bridge (橋接網路)? 還是 Host-Only (本機網路)的網路設定呢？

- Jazz

不好意思我沒附上設定
兩台的設定都如下，我都是有用NAT+Bridge，設定如下(部份實體IP我遮掉了):

A:
eth0 Link encap:Ethernet HWaddr 08:00:27:9c:3d:46
inet addr:10.0.2.15 Bcast:10.0.2.255 Mask:255.255.255.0
inet6 addr: fe80::a00:27ff:fe9c:3d46/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:10435 errors:0 dropped:0 overruns:0 frame:0
TX packets:18065 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:3008155 (3.0 MB) TX bytes:1376126 (1.3 MB)

eth1 Link encap:Ethernet HWaddr 08:00:27:01:03:13
inet addr:xxx.xxx.218.69 Bcast:xxx.xxx.218.xxx Mask:255.255.255.128
inet6 addr: fe80::a00:27ff:fe01:313/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:139248 errors:0 dropped:10736 overruns:0 frame:0
TX packets:745 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:13090071 (13.0 MB) TX bytes:51021 (51.0 KB)

lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:5531 errors:0 dropped:0 overruns:0 frame:0
TX packets:5531 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:607819 (607.8 KB) TX bytes:607819 (607.8 KB)

B:
eth0 Link encap:Ethernet HWaddr 08:00:27:9c:3d:46
inet addr:10.0.2.15 Bcast:10.0.2.255 Mask:255.255.255.0
inet6 addr: fe80::a00:27ff:fe9c:3d46/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:10435 errors:0 dropped:0 overruns:0 frame:0
TX packets:18065 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:3008155 (3.0 MB) TX bytes:1376126 (1.3 MB)

eth1 Link encap:Ethernet HWaddr 08:00:27:01:03:13
inet addr:xxx.xxx.208.87 Bcast:xxx.xxx.208.xxx Mask:255.255.255.0
inet6 addr: fe80::a00:27ff:fe01:313/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:139248 errors:0 dropped:10736 overruns:0 frame:0
TX packets:745 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:13090071 (13.0 MB) TX bytes:51021 (51.0 KB)

lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:5531 errors:0 dropped:0 overruns:0 frame:0
TX packets:5531 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:607819 (607.8 KB) TX bytes:607819 (607.8 KB)

目前主要是先在不同網域的兩邊電腦上用Win7 + Virtualbox 來作測試環境(由於兩邊位置距離好遠，跑來跑去太耗費時間)
確定測試OK之後，會轉到實體電腦的ubuntu 12.04 LTS來完成，只是現在卡在ping不到的問題
還是說不使用virtualbox，直接實體電腦的ubuntu互連就不會有這問題???(因為實體ubuntu系統一開始兩邊都只有一個eth0設定而已，不額外插網卡情況下)

有勞jazz老師解惑???

jazz老師

不知道您那邊是不是可以提共我關於HBase單點失效的解決的參考資料
我有在這裡的論壇上看到一篇，但連結過去文章已不在了

發問主題: hadoop 安裝與設定

您的回答內容:

基本上我覺得現成已經有一些作法可以達成 AvantarNode 的 High Availability (HA) 目標。
作法是使用 heartbeat 搭配 DRBD。我覺得既然已經存在解法，AvantarNode 除非內建到 Hadoop 系統中，
否則大家一定是會使用舊的方式來解決 NameNode Single Point of Failure 的問題，而非靠 ZooKeeper 自己刻一個來解決問題。

推薦「Hadoop Cluster Setup on Debian Lenny」這篇文章，基本上他已經做得非常棒了～
不需要再透過 ZooKeeper 來解決 NameNode 的單點失效問題：
http://frederikkonietzny.de/wp/2010/11/ ... ian-lenny/

- Jazz

您的回文中有提到此人使用不透過zookeeper 遴選的方式來解決HBase單點失效的問題，這部份也是我往後要研究實現的重要部分
雖然我知道zookeeper 可以解決此問題，但是若要效能較佳的化，機器的台數(3、5、7....)絕對不可超過太多並且必須為奇數限制，目的為了遴選更快速
但一直找不到可參考非zookeeper以外的文章或實作參考，目前就只能用zookeeper來暫時解決。滿想看您回文中提到那人的方法，麻煩您了!!

首先，兩者不是在同一個 Class C 網段，所以即使用 Bridge 也要看有沒有路由(Route)

請下 route -n 並回報結果。得看 Gateway 的設定。

- Jazz

有些回應有時空背景的關係，當初我的回應目前看起來已經不是很合宜了。
目前多半都用 ZooKeeper 的方式解決了，因為 HBase 可以跑 Multiple HMaster，然後由 ZooKeeper 決定要用哪個 HMaster。

當初那篇的作法是採用傳統 Linux HA 的作法 (DRBD+Heartbeat) 只能解決掉「網路切換」跟「硬碟儲存同步」的問題。
但 HBase 記憶體內部的資料同步問題，就沒辦法辦到了。這從電腦的架構來看，是不同 Layer 的事情。

- Jazz

謝謝jazz 老師的回答

我照您的方法下了 route -n ，卻發現Gateway 值皆是0，怎會這樣????
因為我有在GUI的設定介面上，通訊匣的欄位有填上(Gateway)內容

A:
cassandra@Node1:~/apache-cassandra-1.2.6/bin$ route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 10.0.2.2 0.0.0.0 UG 0 0 0 eth0
10.0.2.0 0.0.0.0 255.255.255.0 U 1 0 0 eth0
xxx.xxx.218.0 0.0.0.0 255.255.255.128 U 1 0 0 eth1
169.254.0.0 0.0.0.0 255.255.0.0 U 1000 0 0 eth1

B:
cassandra@Node1:~/apache-cassandra-1.2.6/bin$ route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 10.0.2.2 0.0.0.0 UG 0 0 0 eth0
10.0.2.0 0.0.0.0 255.255.255.0 U 1 0 0 eth0
xxx.xxx.208.0 0.0.0.0 255.255.255.0 U 1 0 0 eth1
169.254.0.0 0.0.0.0 255.255.0.0 U 1000 0 0 eth1

我看到這個Gateway:0.0.0.0，突然想到我的網路設定方式是使用GUI介面去設定的
不是下指令的方式去設定 → sudo gedit /etc/network/interfaces。照理說這兩種方式是因該是沒差別才對???

題外話:我只用GUI設定網路，是因為ubuntu 12.04 用sudo gedit設定後再開機它就永遠也找不到eth0了
不管是PC或VM_PC都一樣，這點讓我一直覺得很玄疑，(估狗)搜尋解決方法，然後去解決也是無解
而之前ubuntu 10.04就沒發生過(若使用sudo gedit，重開機依舊抓的到eth0)，雖然知道驅動一直都是ubuntu系列的問題

jazz 老師

我今天測試了一下 Virtualbox VM ubuntu 12.04 LTS 與 實體的ubuntu 12.04 LTS 互ping 的測試
(看來我只能在兩邊的實體ubuntu上裝遠端桌面來進行測試了....不~下下策的方法)
結果果然是可以ping 的通，看來我想因該是virtualbox 設定的防火牆或iptable問題，還是很想知道不同網段的VM_IP要如何ping成功(我有關過兩邊的VM_ubuntu防火牆也是失敗)
希望能幫助我解決VM的ubuntu要怎互相ping 成功，麻煩您了!! (我也先去找方法測試..........)

jazz 老師

我找到辦法解決了，我今天建置了一台VM，網路卡只配置橋接器選項，route -n 發現IP:0.0.0.0，它有顯是我設定的Gateway內容
看來因該是VM不能同時使用NAT 跟 Bridge 的狀態關係，看來是因為NAT 會強制將設定成10.0.2.2，導致我的Gateway設定沒成功
謝謝您的回答與幫忙!!! 我繼續研究，有疑問與問題在來請教，感恩