（點選上方公眾號，可快速關註）

來源：FEINIK

my.oschina.net/feinik/blog/1590941

1 概述

初期的網際網路企業由於業務量較小，所以一般單機部署，實現單點訪問即可滿足業務的需求，這也是最簡單的部署方式，但是隨著業務的不斷擴大，系統的訪問量逐漸的上升，單機部署的樣式已無法承載現有的業務量，需要進行服務叢集化部署，本文主要介紹服務端Tomcat多實體部署，以及如何保證web服務的高可用方案。

• Nginx 是一個高效能的 HTTP反向代理伺服器

• Keepalived 是一個基於VRRP協議來實現的LVS服務高可用方案，可以利用其來避免服務的單點故障

• Tomcat 是一個免費的開放原始碼的Web 應用伺服器，屬於輕量級應用伺服器。

2 Nginx的高可用負載均衡架構

如下圖：為典型的Tomcat服務多實體部署的架構圖

（1）使用者透過域名請求到DNS，由DNS解析域名後傳回對應的IP地址，該IP及為Keepalived對映伺服器的虛擬IP

（2）透過該虛擬IP訪問到對應的負載均衡器（Nginx），這裡Nginx部署兩個，然後透過Keepalived來保證NG的高可用，正常情況下由Keepalived-M將虛擬IP對映轉發至Nginx-M，如果Nginx-M出現故障，此時Keepalived會切換至Keepalived-S開始工作，從而保證了NG的單點故障問題。

（3）透過Nginx負載均衡器，將請求路由到對應的Tomcat服務。

3 搭建Keepalived + Nginx + Tomcat的高可用負載均衡架構

3.1 需要準備的軟體

（1）apache-tomcat-8.5.16.tar.gz

（2）nginx-1.12.2.tar.gz

（3）keepalived-1.3.9.tar.gz

3.2 伺服器準備

兩臺伺服器如：192.168.10.11，192.168.10.12

3.3 安裝需要的依賴包

$ yum -y install gcc gcc-c++ automake pcre pcre-devel zlib zlib-devel open openssl-devel

3.4 安裝

3.4.1 安裝Tomcat

（1）分別在兩臺伺服器中安裝Tomcat，解壓apache-tomcat-8.5.16.tar.gz及可完成安裝。

3.4.2 安裝Nginx

（1）解壓安裝包：tar -zxvf nginx-1.12.2.tar.gz

（2）進入到nginx-1.12.2目錄：cd nginx-1.12.2

（3）編譯：

a) ./configure –with-http_stub_status_module –with-http_ssl_module  –prefix=/usr/local/nginx

b) sudo make && sudo make install

3.4.3 安裝Keepalived

（1）解壓安裝包：tar -zxvf keepalived-1.3.9.tar.gz

（2）進入到keepalived-1.3.9目錄：cd keepalived-1.3.9

（3）執行編譯：

a）./configure –prefix=/usr/local/keepalived –sysconf=/etc

b）sudo make && sudo make install

3.5 配置

3.5.1 分別配置兩臺伺服器的Nginx

（1）分別修改兩臺伺服器nginx配置檔案，vi /usr/local/nginx/conf/nginx.conf

（2）內容如下：

#nginx行程數

worker_processes  1;

 

#單個行程最大連線數

events {

    worker_connections  1024;

}

 

#http伺服器配置

http {

    include       mime.types;

    default_type  application/octet–stream;

    sendfile        on;

#長連線超時時間，單位是秒

    keepalive_timeout  65;

#upstream負載均衡配置，配置路由到tomcat的服務地址以及權重

    upstream localhost{

       server 192.168.10.11:8080 weight=2;

       server 192.168.10.12:8080 weight=2;

    }

#虛擬主機的配置

    server {

    #監聽埠

        listen       80;

#域名可以有多個，用空格隔開

        server_name  localhost;

        location / {

            root   html;

            index  index.html index.htm;

#nginx跟後端伺服器連線超時時間(代理連線超時)

            proxy_connect_timeout 3;

#後端伺服器資料回傳時間(代理髮送超時)

            proxy_send_timeout 30;

#連線成功後，後端伺服器響應時間(代理接收超時)

            proxy_read_timeout 30;

            proxy_pass http://localhost;

        }

 

        error_page   500 502 503 504  /50x.html;

        location = /50x.html {

            root   html;

        }

    }

}

3.5.2 主Keepalived配置

（1）修改11伺服器的keepalived配置檔案，vi /etc/keepalived/keepalived.conf

（2）內容如下：

! Configuration File for keepalived

#全域性配置

global_defs {

   #keepalived切換的時候，發訊息到指定的email，可配置多個email

   notification_email {

     feinik1@foxmail.com

feinik2@foxmail.com

   }

   #通知郵件從哪個地址發出

   notification_email_from feinik@foxmail.com

   #通知郵件的smtp地址

   smtp_server smtp.exmail.qq.com

   #連線smtp伺服器的超時時間，單位秒

   smtp_connect_timeout 30

   #Keepalived的機器標識，一個網路內保持唯一

   router_id nginx–master

}

 

#執行指令碼配置

vrrp_script chk_nginx {

#指令碼所在路徑

    script “/home/project/keepalived/check_nginx.sh”

#指令碼執行間隔時間，秒

    interval 2

#優先順序

    weight 2

}

#keepalived實體配置

vrrp_instance VI_1 {

#指定實體的初始狀態，MASTER或BACKUP兩種狀態，並且需要大寫

    state MASTER

#實體系結的網絡卡

    interface ens33

#虛擬路由標識，是一個數字，整個VRRP內唯一，如果keepalived配置了主備，需要相同

    virtual_router_id 51

#優先順序，數值愈大，優先順序越高

    priority 100

#MASTER與BACKUP之間同步檢查的時間間隔，單位為秒

    advert_int 1

#通訊驗證

    authentication {

        auth_type PASS

        auth_pass feinik

    }

#追蹤外圍指令碼

    track_script {

    #這裡配置vrrp_script的名稱

        chk_nginx

    }

#虛擬ip配置，可配置多個

    virtual_ipaddress {

        192.168.10.200

    }

}

3.5.3 備Keepalived配置

（1）修改12伺服器的keepalived配置檔案，vi /etc/keepalived/keepalived.conf

（2）內容如下：

! Configuration File for keepalived

#全域性配置

global_defs {

   #keepalived切換的時候，發訊息到指定的email，可配置多個email

   notification_email {

     feinik1@foxmail.com

feinik2@foxmail.com

   }

   #通知郵件從哪個地址發出

   notification_email_from feinik@foxmail.com

   #通知郵件的smtp地址

   smtp_server smtp.exmail.qq.com

   #連線smtp伺服器的超時時間，單位秒

   smtp_connect_timeout 30

   #Keepalived的機器標識，一個網路內保持唯一

   router_id nginx–master

}

 

#執行指令碼配置

vrrp_script chk_nginx {

#指令碼所在路徑

    script “/home/project/keepalived/check_nginx.sh”

#指令碼執行間隔時間，秒

    interval 2

#優先順序

    weight 2

}

#keepalived實體配置

vrrp_instance VI_1 {

#指定實體的初始狀態，MASTER或BACKUP兩種狀態，並且需要大寫

    state BACKUP

#實體系結的網絡卡

    interface ens33

#虛擬路由標識，是一個數字，整個VRRP內唯一，如果keepalived配置了主備，需要相同

    virtual_router_id 51

#優先順序，數值愈大，優先順序越高

    priority 99

#MASTER與BACKUP之間同步檢查的時間間隔，單位為秒

    advert_int 1

#通訊驗證

    authentication {

        auth_type PASS

        auth_pass feinik

    }

#追蹤外圍指令碼

    track_script {

    #這裡配置vrrp_script的名稱

        chk_nginx

    }

#虛擬ip配置，可配置多個

    virtual_ipaddress {

        192.168.10.200

    }

}

3.5.4 Nginx狀態檢查指令碼建立

（1）新建Nginx的狀態檢查指令碼：check_nginx.sh

（2）內容如下：

#!/bin/sh

NGINX=/usr/common/nginx/sbin/nginx

PORT=80

nmap localhost –p $PORT | grep “$PORT/tcp open”

#echo $?

if [ $? –ne 0 ];then

    $NGINX –s stop

    #這裡再次嘗試啟動NG

    $NGINX

    sleep 5

    nmap localhost –p $PORT | grep “$PORT/tcp open”

    [ $? –ne 0 ] && cd /usr/common/keepalived/sbin && pkill keepalived

    echo “stoped”

fi

4 執行測試

（1）為了更直觀的檢視到keepalived切換的效果，將11伺服器中的nginx的upstream服務只配置11的tomcat服務地址，12伺服器中的upstream服務只配置12的tomcat服務地址，這樣只需要觀察將11伺服器中的nginx關閉看使用虛擬ip是否可以訪問到12伺服器的tomcat。

（2）分別啟動兩個伺服器中的tomcat、nginx、keepalived，訪問虛擬ip：192.168.10.200，可以檢視到訪問的是主keepalived伺服器的tomcat

（3）關閉11伺服器的nginx，nginx -s stop，再次訪問虛擬ip，如下：說明主keepalived透過配置的指令碼檢測到了本服務的nginx服務掛掉了，所以立馬切換至了備的keepalived，這時12伺服器的keepalived升為了主，所以就訪問到了12伺服器的tomcat。

看完本文有收穫？請轉發分享給更多人

關註「資料庫開發」，提升 DB 技能