歡迎光臨
每天分享高質量文章

基於LVS負載均衡叢集的小米電商網站架構-運維實戰手記(二)

作者:馬哥面授班26期學員 阿龍

來源:見文末


背景:隨著業務的發展,網站的訪問量越來越大,網站訪問量已經從原來的1000QPS,變為3000QPS,網站已經不堪重負,響應緩慢,面對此場景,單純靠單臺LNMP的架構已經無法承載更多的使用者訪問,此時需要用負載均衡技術,對網站容量進行擴充,來解決承載的問題。scale out? scale up?  

總專案流程圖,詳見 http://www.cnblogs.com/along21/p/8000812.html

LVS詳解和相關程式碼段含義詳見 http://www.cnblogs.com/along21/p/7784394.html

實現基於LVS負載均衡叢集的電商網站架構

前景:隨著業務的發展,網站的訪問量越來越大,網站訪問量已經從原來的1000QPS,變為3000QPS,網站已經不堪重負,響應緩慢,面對此場景,單純靠單臺LNMP的架構已經無法承載更多的使用者訪問,此時需要用負載均衡技術,對網站容量進行擴充,來解決承載的問題。scale out? scale up?

實驗前準備:

1、ipvsadm

yum install ipvsadm -y #在LVS-server安裝lvs管理軟體

程式包:ipvsadm(LVS管理工具)

Unit File: ipvsadm.service

主程式:/usr/sbin/ipvsadm

規則儲存工具:/usr/sbin/ipvsadm-save

規則多載工具:/usr/sbin/ipvsadm-restore

配置檔案:/etc/sysconfig/ipvsadm-config

2、

grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64 檢視內核是否支援IPVS


3、

iptables -F && setenforing 清空防火牆策略,關閉selinux

 

實戰一:LVS的NAT樣式實現負載均衡

實戰架構圖:

1、環境準備:

機器名稱

IP配置

服務角色

備註

lvs-server

VIP:172.17.1.6

DIP:192.168.30.106

負載均衡器

開啟路由功能

(VIP橋接、DIP僅主機)

rs01

RIP:192.168.30.107

後端伺服器

閘道器指向DIP(僅主機)

rs02

RIP:192.168.30.7

後端伺服器

閘道器指向DIP(僅主機)

註意:確保rs 在一個網段,且只有一個網段

2、在directory 負載均衡器上

yum -y install ipvsadm

① 開啟一個基於80埠的虛擬服務vip,排程方式為wrr

ipvsadm -A -t 172.17.1.6:80 -s wrr

② 配置web服務後端real server  為nat工作方式  權重為1

ipvsadm -a -t 172.17.1.6:80 -r 192.168.30.107:80 -m -w 1

ipvsadm -a -t 172.17.1.6:80 -r 192.168.30.7:80 -m -w 1

③ 修改內核配置,開啟路由轉發

vim /etc/sysctl.conf 該一行

net.ipv4.ip_forward = 1


sysctl -p 讀一些,使其生效

 

3、在兩臺real server 上設定

① 開啟實現準備好的web網頁服務

systemctl start nginx

systemctl start php-mysql

systemctl start mariadb


② 把閘道器指向directory

route add default gw 192.168.30.106

 

4、自己的windows 做客戶端,透過vip 172.17.1.6訪問web服務,排程成功

 

實戰二:LVS的DR 樣式實現負載均衡

實戰架構圖:

1、環境準備

機器名稱

IP配置

服務角色

lvs-server

VIP:172.17.100.100

負載均衡器

rs01

RIP:172.17.1.7

後端伺服器

rs02

RIP:172.17.22.22

後端伺服器

註意:lvs-server 和rs 要在一個網段,rs只有一個網段

 

2、在lvs-server 上設定

① 配置VIP到本地網絡卡別名,廣播只自己響應

ifconfig eth0:0 172.17.100.100 broadcast 172.17.100.100 netmask 255.255.255.255 up

route add -host 172.17.100.100 dev eth0:0 給網絡卡別名指向閘道器


ipvsadm 策略配置

開啟一個基於80埠的虛擬服務,排程方式為wrr

ipvsadm -A -t 172.17.100.100:80 -s wrr

配置web服務後端real server  為DR工作方式  權重為1

ipvsadm -a -t 172.17.100.100:80 -r 172.17.22.22:80 -g -w 1

ipvsadm -a -t 172.17.100.100:80 -r 172.17.1.6:80 -g -w 1

 

3、real server 上配置

① 配置VIP到本地迴環網絡卡lo上,並只廣播自己

ifconfig lo:0 172.17.100.100 broadcast 172.17.100.100 netmask 255.255.255.255 up

配置本地迴環網絡卡路由

route add -host 172.17.100.100 lo:0


② 使RS "閉嘴"

echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce

忽略ARP廣播

echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

註意:關閉arp應答

1:僅在請求的標的IP配置在本地主機的接收到請求報文的介面上時,才給予響應

2:必須避免將介面資訊向非本網路進行通告

③ 想永久生效,可以寫到配置檔案中

vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2


sysctl -p 讀一下,使其生效

 

4、開啟實現準備好的web網頁服務

systemctl start nginx

systemctl start php-mysql

systemctl start mariadb

 

5、效果驗證

① 可分別在rs1和rs2建立2個不同內容,統一路徑的test.html測試檔案,測試負載均衡功能

在RS01 上vim ../test.html

real server 1

在RS01 上vim ../test.html

real server 1

② 開啟http://172.17.1.6/ ,併在director上用ipvsadm -L -n觀察訪問連線

③ 用另外一臺測試機,用ab壓力測試工具,測試經過負載均衡後的伺服器容量

實戰三:實現80、443埠都可訪問服務,且LVS實現持久連線

1、環境準備

機器名稱

IP配置

服務角色

lvs-server

VIP:172.17.100.100

負載均衡器

rs01

RIP:172.17.1.7

後端伺服器

rs02

RIP:172.17.22.22

後端伺服器

 

2、在vs 上設定:

① 在iptables 打上標記,把80埠標記為99

iptables -t mangle -A PREROUTING -d 172.17.100.100 -p tcp --dport 80 -j MARK --set-mark 99

在iptables打上標記,把443埠標記為99

iptables -t mangle -A PREROUTING -d 172.17.100.100-p tcp --dport 443 -j MARK --set-mark 99

 

② 在lvs上建立基於99號標記的虛擬服務

ipvsadm -A -f 99 -s rr -p

設定後端服務地址,用DR樣式

ipvsadm -a -f 99 -r 172.17.1.7 -g

ipvsadm -a -f 99 -r 172.17.22.22 -g

解析:-p 就是持久連線

3、在rs 準備好了的web服務,開啟80、443埠

關於ssl 443加密的程式碼,具體實現下實驗四

 

4、測試,自己windows 做客戶端,訪問 http://172.17.1.6/

訪問 http://172.17.1.6/

  

實驗四:實現ssl 加密

(1)一個物理伺服器設定一個https

1、建立存放證書的目錄

mkdir /etc/nginx/ssl

 

2、自簽名證書

cd /etc/pki/tls/certs/

make nginx.crt

openssl rsa -in nginx.key -out nginx2.key 因為剛私鑰被加密了,為了後邊方便,解密

 

3、把證書和私鑰cp 到nginx存放證書目錄

cp nginx.crt nginx2.key /etc/nginx/ssl/

cd /etc/nginx/ssl/

mv nginx2.key nginx.key 把名字改回來 

 

4、修改配置檔案,加一段server

server {

listen 443 ssl;

server_name www.along.com;

ssl on;

ssl_certificate /etc/nginx/ssl/nginx.crt;

ssl_certificate_key /etc/nginx/ssl/nginx.key;

ssl_session_cache shared:sslcache:20m;

ssl_session_timeout 10m;

}

 

5、測試,網頁開啟 https://192.168.30.7/

windows 信任證書

 

(2)因為nginx 強大,可以實現多個虛擬主機基於不同的FQDN 實現ssl加密,httpd不能實現

一個物理伺服器設定多個https

1、生成3個證書和私鑰

make nginx.crt

make nginx2.crt

make nginx3.crt

 

2、把證書和私鑰cp 到nginx存放證書目錄,並解開私鑰的加密

cp nginx{1,2,3}* /etc/nginx/ssl/

openssl rsa -in nginx.key -out nginx.key

openssl rsa -in nginx2.key -out nginx2.key

openssl rsa -in nginx3.key -out nginx3.key

 

3、建立各自對應的訪問網頁

mkdir /app/website{1,2,3}

echo website1 > /app/website1/index.html

echo website1 > /app/website2/index.html

echo website1 > /app/website3/index.html

 

4、測試訪問,成功

作者:阿龍

來源:http://www.cnblogs.com/along21/p/7822228.html

 

《Linux雲端計算及運維架構師高薪實戰班》2018年11月26日即將開課中,120天衝擊Linux運維年薪30萬,改變速約~~~~

    *宣告:推送內容及圖片來源於網路,部分內容會有所改動,版權歸原作者所有,如來源資訊有誤或侵犯權益,請聯絡我們刪除或授權事宜。

    – END –


    贊(0)

    分享創造快樂