Taiwan Hadoop Forum

台灣 Hadoop 技術討論區
現在的時間是 2022-06-29, 03:00

所有顯示的時間為 UTC + 8 小時




發表新文章 回覆主題  [ 9 篇文章 ] 
發表人 內容
 文章主題 : 關於ubuntu 12.04 LTS Desktop 相互ping不通的問題
文章發表於 : 2013-10-04, 22:32 
離線

註冊時間: 2013-08-16, 13:27
文章: 14
我現在有兩個不同網段的IP(以下列IP來代體實體IP發問問題)
環境:virtualbox + ubuntu 12.04 LTS Desktop(32)
主機A:192.168.0.1
主機B:192.168.1.1

在做兩邊不同網域的資料庫備援(cassandra),發現A和B互相ping都不通,貌似是這個原因造成A和B資料庫無法連成叢集
造成無法實現備援的結果,想請問有哪到指令可以關閉ICMP限制?
或者是如何將兩邊設定成,A可以辨識B的網域IP,而B也可以辨識A網域的IP,然後相互ping IP可以通?


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於ubuntu 12.04 LTS Desktop 相互ping不通的問題
文章發表於 : 2013-10-04, 23:52 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
Qoo0707Q 寫:
我現在有兩個不同網段的IP(以下列IP來代體實體IP發問問題)
環境:virtualbox + ubuntu 12.04 LTS Desktop(32)
主機A:192.168.0.1
主機B:192.168.1.1

在做兩邊不同網域的資料庫備援(cassandra),發現A和B互相ping都不通,貌似是這個原因造成A和B資料庫無法連成叢集
造成無法實現備援的結果,想請問有哪到指令可以關閉ICMP限制?
或者是如何將兩邊設定成,A可以辨識B的網域IP,而B也可以辨識A網域的IP,然後相互ping IP可以通?


請問您是採用 NAT ? Bridge (橋接網路)? 還是 Host-Only (本機網路)的網路設定呢?

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於ubuntu 12.04 LTS Desktop 相互ping不通的問題
文章發表於 : 2013-10-05, 23:38 
離線

註冊時間: 2013-08-16, 13:27
文章: 14
jazz 寫:
Qoo0707Q 寫:
我現在有兩個不同網段的IP(以下列IP來代體實體IP發問問題)
環境:virtualbox + ubuntu 12.04 LTS Desktop(32)
主機A:192.168.0.1
主機B:192.168.1.1

在做兩邊不同網域的資料庫備援(cassandra),發現A和B互相ping都不通,貌似是這個原因造成A和B資料庫無法連成叢集
造成無法實現備援的結果,想請問有哪到指令可以關閉ICMP限制?
或者是如何將兩邊設定成,A可以辨識B的網域IP,而B也可以辨識A網域的IP,然後相互ping IP可以通?


請問您是採用 NAT ? Bridge (橋接網路)? 還是 Host-Only (本機網路)的網路設定呢?

- Jazz


不好意思我沒附上設定
兩台的設定都如下,我都是有用NAT+Bridge,設定如下(部份實體IP我遮掉了):

A:
eth0 Link encap:Ethernet HWaddr 08:00:27:9c:3d:46
inet addr:10.0.2.15 Bcast:10.0.2.255 Mask:255.255.255.0
inet6 addr: fe80::a00:27ff:fe9c:3d46/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:10435 errors:0 dropped:0 overruns:0 frame:0
TX packets:18065 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:3008155 (3.0 MB) TX bytes:1376126 (1.3 MB)

eth1 Link encap:Ethernet HWaddr 08:00:27:01:03:13
inet addr:xxx.xxx.218.69 Bcast:xxx.xxx.218.xxx Mask:255.255.255.128
inet6 addr: fe80::a00:27ff:fe01:313/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:139248 errors:0 dropped:10736 overruns:0 frame:0
TX packets:745 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:13090071 (13.0 MB) TX bytes:51021 (51.0 KB)

lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:5531 errors:0 dropped:0 overruns:0 frame:0
TX packets:5531 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:607819 (607.8 KB) TX bytes:607819 (607.8 KB)

B:
eth0 Link encap:Ethernet HWaddr 08:00:27:9c:3d:46
inet addr:10.0.2.15 Bcast:10.0.2.255 Mask:255.255.255.0
inet6 addr: fe80::a00:27ff:fe9c:3d46/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:10435 errors:0 dropped:0 overruns:0 frame:0
TX packets:18065 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:3008155 (3.0 MB) TX bytes:1376126 (1.3 MB)

eth1 Link encap:Ethernet HWaddr 08:00:27:01:03:13
inet addr:xxx.xxx.208.87 Bcast:xxx.xxx.208.xxx Mask:255.255.255.0
inet6 addr: fe80::a00:27ff:fe01:313/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:139248 errors:0 dropped:10736 overruns:0 frame:0
TX packets:745 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:13090071 (13.0 MB) TX bytes:51021 (51.0 KB)

lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:5531 errors:0 dropped:0 overruns:0 frame:0
TX packets:5531 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:607819 (607.8 KB) TX bytes:607819 (607.8 KB)

目前主要是先在不同網域的兩邊電腦上用Win7 + Virtualbox 來作測試環境(由於兩邊位置距離好遠,跑來跑去太耗費時間)
確定測試OK之後,會轉到實體電腦的ubuntu 12.04 LTS來完成,只是現在卡在ping不到的問題
還是說不使用virtualbox,直接實體電腦的ubuntu互連就不會有這問題???(因為實體ubuntu系統一開始兩邊都只有一個eth0設定而已,不額外插網卡情況下)

有勞jazz老師解惑??? :cry:


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於ubuntu 12.04 LTS Desktop 相互ping不通的問題
文章發表於 : 2013-10-06, 00:04 
離線

註冊時間: 2013-08-16, 13:27
文章: 14
jazz老師

不知道您那邊是不是可以提共我關於HBase單點失效的解決的參考資料
我有在這裡的論壇上看到一篇,但連結過去文章已不在了

發問主題: hadoop 安裝與設定

您的回答內容:

基本上我覺得現成已經有一些作法可以達成 AvantarNode 的 High Availability (HA) 目標。
作法是使用 heartbeat 搭配 DRBD。我覺得既然已經存在解法,AvantarNode 除非內建到 Hadoop 系統中,
否則大家一定是會使用舊的方式來解決 NameNode Single Point of Failure 的問題,而非靠 ZooKeeper 自己刻一個來解決問題。

推薦「Hadoop Cluster Setup on Debian Lenny」這篇文章,基本上他已經做得非常棒了~
不需要再透過 ZooKeeper 來解決 NameNode 的單點失效問題:
http://frederikkonietzny.de/wp/2010/11/ ... ian-lenny/

- Jazz

您的回文中有提到此人使用不透過zookeeper 遴選的方式來解決HBase單點失效的問題,這部份也是我往後要研究實現的重要部分
雖然我知道zookeeper 可以解決此問題,但是若要效能較佳的化,機器的台數(3、5、7....)絕對不可超過太多並且必須為奇數限制,目的為了遴選更快速
但一直找不到可參考非zookeeper以外的文章或實作參考,目前就只能用zookeeper來暫時解決。滿想看您回文中提到那人的方法,麻煩您了!!


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於ubuntu 12.04 LTS Desktop 相互ping不通的問題
文章發表於 : 2013-10-06, 09:38 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
Qoo0707Q 寫:
inet addr:xxx.xxx.218.69 Bcast:xxx.xxx.218.xxx Mask:255.255.255.128
inet addr:xxx.xxx.208.87 Bcast:xxx.xxx.208.xxx Mask:255.255.255.0


首先,兩者不是在同一個 Class C 網段,所以即使用 Bridge 也要看有沒有路由(Route)

請下 route -n 並回報結果。得看 Gateway 的設定。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於ubuntu 12.04 LTS Desktop 相互ping不通的問題
文章發表於 : 2013-10-06, 09:54 
離線

註冊時間: 2009-11-09, 19:52
文章: 2897
Qoo0707Q 寫:
您的回文中有提到此人使用不透過zookeeper 遴選的方式來解決HBase單點失效的問題,這部份也是我往後要研究實現的重要部分
雖然我知道zookeeper 可以解決此問題,但是若要效能較佳的化,機器的台數(3、5、7....)絕對不可超過太多並且必須為奇數限制,目的為了遴選更快速
但一直找不到可參考非zookeeper以外的文章或實作參考,目前就只能用zookeeper來暫時解決。滿想看您回文中提到那人的方法,麻煩您了!!


有些回應有時空背景的關係,當初我的回應目前看起來已經不是很合宜了。
目前多半都用 ZooKeeper 的方式解決了,因為 HBase 可以跑 Multiple HMaster,然後由 ZooKeeper 決定要用哪個 HMaster。

當初那篇的作法是採用傳統 Linux HA 的作法 (DRBD+Heartbeat) 只能解決掉「網路切換」跟「硬碟儲存同步」的問題。
但 HBase 記憶體內部的資料同步問題,就沒辦法辦到了。這從電腦的架構來看,是不同 Layer 的事情。

- Jazz


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於ubuntu 12.04 LTS Desktop 相互ping不通的問題
文章發表於 : 2013-10-06, 11:34 
離線

註冊時間: 2013-08-16, 13:27
文章: 14
謝謝jazz 老師的回答

我照您的方法下了 route -n ,卻發現Gateway 值皆是0,怎會這樣????
因為我有在GUI的設定介面上,通訊匣的欄位有填上(Gateway)內容 :shock:

A:
cassandra@Node1:~/apache-cassandra-1.2.6/bin$ route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 10.0.2.2 0.0.0.0 UG 0 0 0 eth0
10.0.2.0 0.0.0.0 255.255.255.0 U 1 0 0 eth0
xxx.xxx.218.0 0.0.0.0 255.255.255.128 U 1 0 0 eth1
169.254.0.0 0.0.0.0 255.255.0.0 U 1000 0 0 eth1

B:
cassandra@Node1:~/apache-cassandra-1.2.6/bin$ route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 10.0.2.2 0.0.0.0 UG 0 0 0 eth0
10.0.2.0 0.0.0.0 255.255.255.0 U 1 0 0 eth0
xxx.xxx.208.0 0.0.0.0 255.255.255.0 U 1 0 0 eth1
169.254.0.0 0.0.0.0 255.255.0.0 U 1000 0 0 eth1

我看到這個Gateway:0.0.0.0,突然想到我的網路設定方式是使用GUI介面去設定的
不是下指令的方式去設定 → sudo gedit /etc/network/interfaces。照理說這兩種方式是因該是沒差別才對???

題外話:我只用GUI設定網路,是因為ubuntu 12.04 用sudo gedit設定後再開機它就永遠也找不到eth0了 :cry:
不管是PC或VM_PC都一樣,這點讓我一直覺得很玄疑,(估狗)搜尋解決方法,然後去解決也是無解
而之前ubuntu 10.04就沒發生過(若使用sudo gedit,重開機依舊抓的到eth0),雖然知道驅動一直都是ubuntu系列的問題 :roll:


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於ubuntu 12.04 LTS Desktop 相互ping不通的問題
文章發表於 : 2013-10-06, 21:09 
離線

註冊時間: 2013-08-16, 13:27
文章: 14
jazz 老師

我今天測試了一下 Virtualbox VM ubuntu 12.04 LTS 與 實體的ubuntu 12.04 LTS 互ping 的測試
(看來我只能在兩邊的實體ubuntu上裝遠端桌面來進行測試了....不~下下策的方法)
結果果然是可以ping 的通,看來我想因該是virtualbox 設定的防火牆或iptable問題,還是很想知道不同網段的VM_IP要如何ping成功(我有關過兩邊的VM_ubuntu防火牆也是失敗)
希望能幫助我解決VM的ubuntu要怎互相ping 成功,麻煩您了!! (我也先去找方法測試..........)


回頂端
 個人資料 E-mail  
 
 文章主題 : Re: 關於ubuntu 12.04 LTS Desktop 相互ping不通的問題
文章發表於 : 2013-10-06, 21:17 
離線

註冊時間: 2013-08-16, 13:27
文章: 14
jazz 老師

我找到辦法解決了,我今天建置了一台VM,網路卡只配置橋接器選項,route -n 發現IP:0.0.0.0,它有顯是我設定的Gateway內容
看來因該是VM不能同時使用NAT 跟 Bridge 的狀態關係,看來是因為NAT 會強制將設定成10.0.2.2,導致我的Gateway設定沒成功
謝謝您的回答與幫忙!!! 我繼續研究,有疑問與問題在來請教,感恩


回頂端
 個人資料 E-mail  
 
顯示文章 :  排序  
發表新文章 回覆主題  [ 9 篇文章 ] 

所有顯示的時間為 UTC + 8 小時


誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 4 位訪客


不能 在這個版面發表主題
不能 在這個版面回覆主題
不能 在這個版面編輯您的文章
不能 在這個版面刪除您的文章
不能 在這個版面上傳附加檔案

搜尋:
前往 :  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
正體中文語系由 竹貓星球 維護製作