歡迎光臨
每天分享高質量文章

開源資料庫中介軟體MyCat實現資料庫讀寫分離、分表分庫指南

前言

 

系統開發中,資料庫是非常重要的一個點。除了程式的本身的最佳化,如:SQL陳述句最佳化、程式碼最佳化,資料庫的處理本身最佳化也是非常重要的。主從、熱備、分表分庫等都是系統發展遲早會遇到的技術問題問題。MyCat是一個廣受好評的資料庫中介軟體,已經在很多產品上進行使用了。希望透過這篇文章的介紹,能學會MyCat的使用。

安裝

 

MyCat官網:http://www.mycat.io/
可以瞭解下MyCat的背景和應用情況,這樣使用起來比較有信心。

 

MyCat下載地址:http://dl.mycat.io/
官網有個檔案,屬於詳細的介紹,初次入門,看起來比較花時間。

 

下載:
建議大家選擇 1.6-RELEASE 版本,比較穩定。

 

安裝:
根據不同的系統選擇不同的版本。包括Linux、Windows、Mac,作者考慮還是非常周全的,當然,也有原始碼版的。(原始碼版的下載後,只要配置正確,就可以正常執行除錯。)

 

 

MyCat的安裝其實只要解壓下載的目錄就可以了。

 

安裝完成後,目錄如下:

目錄 說明
bin MyCat命令,啟動、重啟、停止等
catlet catlet為MyCat的一個擴充套件功能
conf MyCat 配置資訊,重點關註
lib MyCat取用的jar包,MyCat是Java開發的
logs 日誌檔案,包括MyCat啟動的日誌和執行的日誌。

 

配置

 

MyCat的配置檔案都在conf目錄裡面,這裡介紹幾個常用的檔案:

 

檔案 說明
server.xml MyCat的配置檔案,設定賬號、引數等
schema.xml MyCat對應的物理資料庫和資料庫表的配置
rule.xml MyCat分片(分庫分表)規則

 

MyCat的架構很好理解,MyCat是代理,MyCat後面就是物理資料庫。和Web伺服器的Nginx類似。對於使用者來說,訪問的都是MyCat,不會接觸到後端的資料庫。

 

我們現在做一個主從、讀寫分離,簡單分表的示例。結構如下圖:

 

伺服器 IP 說明
MyCat 192.168.0.2 MyCat伺服器,連線資料庫時,連線此伺服器
database1 192.168.0.3 物理資料庫1,真正儲存資料的資料庫
database2 192.168.0.4 物理資料庫2,真正儲存資料的資料庫

 

MyCat作為主資料庫中介軟體,與程式碼是弱關聯的,所以程式碼是不用修改的,使用MyCat後,連線資料庫是不變的,預設埠是8066。連線方式和普通資料庫一樣,如:jdbc:mysql://192.168.0.2:8066/

 

server.xml

<user name="test">
        <property name="password">testproperty>

<property name=“schemas”>lunchproperty>
<property name=“readOnly”>falseproperty>



user>

(左右滑動,檢視完整程式碼,下同)

 

重點關註下麵這段,其他預設即可。

引數 說明
–user 使用者配置節點
–name 登入的使用者名稱,也就是連線MyCat的使用者名稱
–password 登入的密碼,也就是連線MyCat的密碼
–schemas 資料庫名,這裡會和schema.xml中的配置關聯,多個用逗號分開,例如需要這個使用者需要管理兩個資料庫db1,db2,則配置db1,dbs
–privileges 配置使用者針對錶的增刪改查的許可權,具體見檔案吧

 

這裡配置了一個賬號test,密碼也是test,針對資料庫lunch,讀寫許可權都有,沒有針對錶做任何特殊的許可權。

 

schema.xml

 

schema.xml是最主要的配置項,首先看我的配置檔案。

 


mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://io.mycat/">


    <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
        <table name="lunchmenu" dataNode="dn1"  />
        <table name="restaurant" dataNode="dn1"  />
        <table name="userlunch" dataNode="dn1"  />
        <table name="users" dataNode="dn1"  />
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2"  rule="mod-long" />


    schema>


<dataNode name=“dn1” dataHost=“test1” database=“lunch” />
<dataNode name=“dn2” dataHost=“test2” database=“lunch” />


<dataHost name=“test1” maxCon=“1000” minCon=“10” balance=“0”  writeType=“0” dbType=“mysql” dbDriver=“native”>
<heartbeat>select user();heartbeat>
<writeHost host=“hostM1” url=“192.168.0.2:3306” user=“root” password=“123456”>
writeHost>
dataHost>

<dataHost name=“test2” maxCon=“1000” minCon=“10” balance=“0” writeType=“0” dbType=“mysql” dbDriver=“native”>
<heartbeat>select user();heartbeat>
<writeHost host=“hostS1” url=“192.168.0.3:3306” user=“root” password=“123456”>
writeHost>
dataHost>

mycat:schema>

 

引數 說明
schema 資料庫設定,此資料庫為邏輯資料庫,name與server.xml中schema對應
dataNode 分片資訊,也就是分庫相關配置
dataHost 物理資料庫,真正儲存資料的資料庫

 

每個節點的屬性逐一說明:

 

schema:

屬性 說明
name 邏輯資料庫名,與server.xml中的schema對應
checkSQLschema 資料庫字首相關設定,建議看檔案,這裡暫時設為folse
sqlMaxLimit select 時預設的limit,避免查詢全表

 

table:

屬性 說明
name 表名,物理資料庫中表名
dataNode 表儲存到哪些節點,多個節點用逗號分隔。節點為下文dataNode設定的name
primaryKey 主鍵欄位名,自動生成主鍵時需要設定
autoIncrement 是否自增
rule 分片規則名,具體規則下文rule詳細介紹

 

dataNode:

屬性 說明
name 節點名,與table中dataNode對應
datahost 物理資料庫名,與datahost中name對應
database 物理資料庫中資料庫名

 

dataHost

屬性 說明
name 物理資料庫名,與dataNode中dataHost對應
balance 均衡負載的方式
writeType 寫入方式
dbType 資料庫型別
heartbeat 心跳檢測陳述句,註意陳述句結尾的分號要加。

應用場景

 

資料庫分表分庫

 

配置如下:


mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://io.mycat/">


    <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
        <table name="lunchmenu" dataNode="dn1"  />
        <table name="restaurant" dataNode="dn1"  />
        <table name="userlunch" dataNode="dn1"  />
        <table name="users" dataNode="dn1"  />
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2"  rule="mod-long" />


    schema>


<dataNode name=“dn1” dataHost=“test1” database=“lunch” />
<dataNode name=“dn2” dataHost=“test2” database=“lunch” />


<dataHost name=“test1” maxCon=“1000” minCon=“10” balance=“0”  writeType=“0” dbType=“mysql” dbDriver=“native”>
<heartbeat>select user();heartbeat>
<writeHost host=“hostM1” url=“192.168.0.2:3306” user=“root” password=“123456”>
writeHost>
dataHost>

<dataHost name=“test2” maxCon=“1000” minCon=“10” balance=“0” writeType=“0” dbType=“mysql” dbDriver=“native”>
<heartbeat>select user();heartbeat>
<writeHost host=“hostS1” url=“192.168.0.3:3306” user=“root” password=“123456”>
writeHost>
dataHost>

mycat:schema>

 

我在192.168.0.2、192.168.0.3均有資料庫lunch。

 

lunchmenu、restaurant、userlunch、users這些表都只寫入節點dn1,也就是192.168.0.2這個服務,而dictionary寫入了dn1、dn2兩個節點,也就是192.168.0.2、192.168.0.3這兩臺伺服器,分片的規則為:mod-long。

 

主要關註rule屬性,rule屬性的內容來源於rule.xml這個檔案,MyCat支援10種分表分庫的規則,基本能滿足你所需要的要求,這個必須贊一個,其他資料庫中介軟體好像都沒有這麼多。

 

table中的rule屬性對應的就是rule.xml檔案中tableRule的name,具體有哪些分表和分庫的實現,建議還是看下檔案。我這裡選擇的mod-long就是將資料平均拆分。因為我後端是兩臺物理庫,所以rule.xml中mod-long對應的function
count為2,見下麵部分程式碼:

 

<tableRule name="mod-long">
        <rule>
            <columns>idcolumns>

<algorithm>mod-longalgorithm>
rule>
tableRule>

<function name=“mod-long” class=“io.mycat.route.function.PartitionByMod”>

<property name=“count”>2property>
function>

資料庫讀寫分離

 

配置如下:


mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://io.mycat/">


    <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
        <table name="lunchmenu" dataNode="dn1"  />
        <table name="restaurant" dataNode="dn1"  />
        <table name="userlunch" dataNode="dn1"  />
        <table name="users" dataNode="dn1"  />
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1"  />


    schema>


<dataNode name=“dn1” dataHost=“test1” database=“lunch” />


<dataHost name=“test1” maxCon=“1000” minCon=“10” balance=“1”  writeType=“0” dbType=“mysql” dbDriver=“native”>
<heartbeat>select user();heartbeat>
<writeHost host=“hostM1” url=“192.168.0.2:3306” user=“root” password=“123456”>
<readHost host=“hostM1” url=“192.168.0.3:3306” user=“root” password=“123456”>
readHost>
writeHost>
dataHost>

mycat:schema>

 

這樣的配置與前一個示例配置改動如下:刪除了table分配的規則,以及datanode只有一個,datahost也只有一臺,但是writehost總添加了readhost,balance改為1,表示讀寫分離。

 

以上配置達到的效果就是102.168.0.2為主庫,192.168.0.3為從庫。

 

註意MyCat主從分離只是在讀的時候做了處理,寫入資料的時候,只會寫入到writehost,需要透過MyCat的主從複製將資料複製到readhost,這個問題當時候我糾結了好久,資料寫入writehost後,readhost一直沒有資料,以為是自己配置的問題,後面才發現MyCat就沒有實現主從複製的功能,畢竟資料庫本身自帶的這個功能才是最高效穩定的。

 

至於其他的場景,如同時主從和分表分庫也是支援的,只要瞭解這個實現以後再去修改配置,都是可以實現的。而熱備及故障專業官方推薦使用haproxy配合一起使用,大家可以試試。

 

使用

 

Mycat的啟動也很簡單,啟動命令在Bin目錄:

 

##啟動
Mycat start

##停止
Mycat stop

##重啟
Mycat restart

 

如果在啟動時發現異常,在logs目錄中檢視日誌。

  • Wrapper.log 為程式啟動的日誌,啟動時的問題看這個;
  • Mycat.log 為指令碼執行時的日誌,SQL指令碼執行報錯後的具體錯誤內容,檢視這個檔案。mycat.log是最新的錯誤日誌,歷史日誌會根據時間生成目錄儲存。

 

Mycat啟動後,執行命令不成功,可能實際上配置有錯誤,導致後面的命令沒有很好的執行。

 

Mycat帶來的最大好處就是使用是完全不用修改原有程式碼的,在MyCat透過命令啟動後,你只需要將資料庫連線切換到MyCat的地址就可以了。如下麵就可以進行連線了:

 

 mysql -h192.168.0.1 -P8806 -uroot -p123456

 

連線成功後可以執行SQL指令碼了。

 

所以,可以直接透過SQL管理工具(如:navicat、datagrip)連線,執行指令碼。我一直用datagrip來進行日常簡單的管理,這個很方便。

 

MyCat還有一個管理的連線,埠號是9906。

 

 mysql -h192.168.0.1 -P9906 -uroot -p123456

 

連線後可以根據管理命令檢視MyCat的執行情況,當然,喜歡UI管理方式的人,可以安裝一個MyCat-Web來進行管理。

 

簡而言之,開發中使用MyCat和直接使用MySQL機會沒有差別。

 

常見問題

 

使用MyCat後總會遇到一些坑,我在此列舉一下,希望能與大家有共鳴:

 

  • MyCat是不是配置以後,就能完全解決分表分庫和讀寫分離問題?
    MyCat配合資料庫本身的複製功能,可以解決讀寫分離的問題,但是針對分表分庫的問題,不是完美的解決。或者說,至今為止,業界沒有完美的解決方案。
    分表分庫寫入能完美解決,但是,不能完美解決主要是聯表查詢的問題,MyCat支援兩個表聯表的查詢,多餘兩個表的查詢不支援。 很多資料庫中介軟體關於分表分庫後查詢的問題,都是需要自己實現的,而且節本都不支援聯表查詢,MyCat已經算做得非常先進了。
    分表分庫的後聯表查詢問題,透過合理資料庫設計來避免。
  • MyCat支援哪些資料庫,其他平臺如 .NET、PHP能用嗎?
    官方說了,支援的資料庫包括MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流資料庫。
    儘量用MySQL,我試過SQL Server,會有些小問題,因為部分語法有點差異。

  • MyCat非JAVA平臺如 .NET、PHP能用嗎?
    可以用。這一點MyCat做的也很棒。

參考

《Mycat權威指南》:http://www.mycat.io/document/Mycat_V1.6.0.pdf

原文:http://www.cnblogs.com/joylee/p/7513038.html

    贊(0)

    分享創造快樂