運維的苦，誰懂？一次“心驚肉跳”的遷庫經歷！-知識星球

來自：51CTO技術棧（微訊號：blog51cto）

作者：甘兵，編輯：陶家龍、孫淑娟

連結：http://blog.51cto.com/ganbing/2105842

“

IT 運維工程師一直是個“苦逼”的職業，“鋤禾日當午，不如運維苦，對著破電腦，一調一下午”是對運維工作的一個形象的描述。下麵看看本文作者一次驚心肉跳的資料庫遷移經歷。

事件起源

整個事件的起源還要從我最近入職了一家區塊鏈金融公司說起，公司業務發展比較迅猛，突破百萬使用者也是近在眼前。

整個系統都在阿裡雲上執行，每天都能看到使用者的不斷增長，即興奮又擔憂，為什麼這麼說呢？

由於我過來的時候，公司業務就已經上線了，系統接過來之後，快速瞭解了所有的應用服務都是在 Docker Swarm 跑起來的，也包括 MySQL 資料庫。

按照這種使用者量發展下去，MySQL 在容器中執行用不了多久肯定會撐不住，以至於我就有了遷庫的想法。

我開始隱隱的擔憂起來，畢竟不想每天提心吊膽的做運維。所以立即重新規劃了新的方案和大家一起探討。

最終總監和相關技術負責人都敲定用 RDS 做為資料庫新的方案，周星馳的功夫中也說到：“天下武功，唯快不破”，於是就開始幹起來。

遷移計劃

原架構圖

如上圖所示，分析一下原來的架構圖：

從入口層（CDN）→到安全層（WAF）→最後到達應用層（ECS叢集）。
Docker Swarm 打通了 ECS 叢集中的每臺伺服器，在每臺 ECS 宿主機安裝 Docker engine 並部署了公司需要的應用服務和資料庫（Nginx、PHP、Redis、MySQL等）。
MySQL 容器透過本檔案掛載到容器中實現資料持久化。
業務專案以 PHP 為主，PHP 也是執行在容器中，透過 PHP 指定的配置檔案連線到 MySQL 容器中。

隨便展示一下其中一個庫的 docker-compose yaml 檔案：

version: "3"
services:
  ussbao:
    # replace username/repo:tag with your name and image details
    image: 隱藏此映象資訊
    deploy:
      replicas: 1
      restart_policy:
        condition: on-failure
    environment:
      MYSQL_ROOT_PASSWORD: 隱藏此資訊
    volumes:
      - "/data//mysql/db1/:/var/lib/mysql/"
      - "/etc/localtime:/etc/localtime"
      - "/etc/timezone:/etc/timezone"
networks:
  default:
    external:
      name: 隱藏此資訊

從上面的資訊可以看出來，每個庫只運行了一個 MySQL 容器，並沒有主從或讀寫分離的方案。

而且也沒有對資料庫做任何最佳化，資料庫這樣跑下去讓筆者很擔憂，正常來說，都會把資料庫獨立部署執行。

調整後架構圖

從上圖可以看出來，筆者只是把 MySQL 獨立出來了，開通 RDS 實體來跑資料庫，當然還開通了其他的一些服務（比如 OSS、雲 Redis 等），這些不是本文的重點，就沒有畫出來。

Nginx 和 PHP 服務還是在 Docker Swarm 中執行。本文只是對遷移後出了問題的庫進行分享，下麵來看看遷移的方案吧。

遷移流程方案

遷移流程的方案：開通 RDS 實體→備份 SQL→匯入到 RDS→修改資料庫配置檔案→測試驗證。

遷移步驟如下：

根據業務量規劃開通 RDS 實體，建立資料庫和使用者
提前做好 RDS 白名單，新增允許訪問 RDS 的 IP 地址
mysqldump 備份 Docker 中的 MySQL
把備份好的 .sql 檔案匯入到 RDS 中
修改 PHP 專案的資料庫配置檔案
清空 PHP 專案的快取檔案或目錄
測試驗證
RDS 定時備份

具體遷移細節就不展示了，我是在夜深人靜的時候進行遷移操作的，確定大半夜沒人訪問我們的 App 和網站了才開乾的。

我們的業務情況有點像股市，我們是晚上 12 點不許操作和交易，第 2 天早上 9 點開盤，9 點鐘是併發的高峰期，就像朝陽大悅城上午開門一樣，大批的顧客同時併發過來了。

所以那天晚上在 12 點 15 分準時開乾，按計劃和提前準備的配置、命令、指令碼進行操作的。

把 Docker 中執行的 MySQL 遷移到 RDS 上非常順利，好幾個庫的遷移不到半個小時就結束了，並且把網站和 App 的流程都跑了一遍，也都是妥妥的。

最終把提前準備好的備份指令碼放在 crontab 中定時執行，可以看下指令碼內容：

#!/bin/bash
#資料庫IP
dbserver='*******'
#資料庫使用者名稱
dbuser='ganbing'
#資料庫密碼
dbpasswd='************'
#備份資料庫,多個庫用空格隔開
dbname='db1 db2 db3'
#備份時間
backtime=`date +%Y%m%d%H%M`
out_time=`date +%Y%m%d%H%M%S`
#備份輸出路徑
backpath='/data/backup/mysql/'
logpath=''/data/backup/logs/'

echo "################## ${backtime} #############################" 
echo "開始備份" 
#日誌記錄頭部
echo "" >> ${logpath}/${dbname}_back.log
echo "-------------------------------------------------" >> ${logpath}/${dbname}_back.log
echo "備份時間為${backtime},備份資料庫 ${dbname} 開始" >> ${logpath}/${dbname}_back.log

#正式備份資料庫
for DB in $dbname; do
  source=`/usr/bin/mysqldump  -h ${dbserver} -u ${dbuser} -p${dbpasswd} ${DB} > ${backpath}/${DB}-${out_time}.sql` 2>> ${backpath}/mysqlback.log;
  #備份成功以下操作
  if [ "$?" == 0 ];then
    cd $backpath
    #為節約硬碟空間，將資料庫壓縮
    tar zcf ${DB}-${backtime}.tar.gz ${DB}-${backtime}.sql > /dev/null
    #刪除原始檔案，只留壓縮後檔案
    rm -f ${DB}-${backtime}.sql
    #刪除15天前備份，也就是隻儲存15天內的備份
    find $backpath -name "*.tar.gz" -type f -mtime +15 -exec rm -rf {} ; > /dev/null 2>&1
    echo "資料庫 ${dbname} 備份成功!!" >> ${logpath}/${dbname}_back.log
  else
  #備份失敗則進行以下操作
  echo "資料庫 ${dbname} 備份失敗!!" >> ${logpath}/${dbname}_back.log
  fi
done

echo "完成備份"
echo "################## ${backtime} #############################"