歡迎光臨
每天分享高質量文章

我們來談下高併發和分佈式中的冪等處理

  • 我們先來談下冪等的概念
  • 實現冪等性的技術方案
  • 最後總結:

我們先來談下冪等的概念

抽象概念

冪等(idempotent、idempotence)是一個數學與計算機學概念,常見於抽象代數中。

在編程中,一個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同。冪等函式,或冪等方法,是指可以使用相同引數重覆執行,並能獲得相同結果的函式。這些函式不會影響系統狀態,也不用擔心重覆執行會對系統造成改變。例如,“getUsername()和setTrue()”函式就是一個冪等函式。

用通俗的話講:就是針對一個操作,不管做多少次,產生效果或傳回的結果都是一樣的

舉幾個例子:

1.比如前端對同一表單資料的重覆提交,後臺應該只會產生一個結果

2.比如我們發起一筆付款請求,應該只扣用戶賬戶一次錢,當遇到網絡重發或系統bug重發,也應該只扣一次錢

3.比如發送訊息,也應該只發一次,同樣的短信如果多次發給用戶,用戶會崩潰

4.比如創建業務訂單,一次業務請求只能創建一個,不能出現創建多個訂單

還有很多諸如此類的,這些邏輯都需要冪等的特性來支持。

實現冪等性的技術方案

查詢操作

查詢一次和查詢多次,在資料不變的情況下,查詢結果是一樣的,select是天然的冪等操作。

刪除操作

刪除操作也是冪等的,刪除一次和多次刪除都是把資料刪除。(註意可能傳回結果不一樣,刪除的資料不存在
,傳回0,刪除的資料多條,傳回結果多個)。

唯一索引,防止新增臟資料

拿資金賬戶和用戶賬戶來說,每個用戶只能有一個資金賬戶,怎麼防止給用戶創建資金賬戶多個,那麼給資
金賬戶表中的用戶ID加唯一索引,在新增的時候只有一個能請求成功,剩下都會丟擲唯一索引重覆異常。比
如`org.springframework.dao.DuplicateKeyException`,這時候再查詢一次就可以了,資料存在,傳回結果

token機制,防止頁面重覆提交

要求:頁面的資料只能被點擊提交一次

發生原因:由於重覆點擊或者網絡重發,或者nginx重發等情況會導致資料被重覆提交

解決辦法:

    集群環境:採用token加redis

    單JVM環境:採用token加redis或token加jvm記憶體

處理流程:

    資料提交前要向服務的申請token,token放到redis或jvm記憶體,token有效時間

    提交後後臺校驗token,同時刪除token,生成新的token傳回

token特點:要申請,一次有效性,可以限流

註意:redis要用刪除操作來判斷token,刪除成功代表token校驗通過,如果用select+delete來校驗token,
存在併發問題,不建議使用

悲觀鎖

獲取資料的時候加鎖獲取

select * from table_xxx where id=’xxx’ for update;

註意:id欄位一定是主鍵或者唯一索引,不然是鎖表,會出事的。

悲觀鎖使用時一般伴隨事務一起使用,資料鎖定時間可能會很長,根據實際情況選用

樂觀鎖

樂觀鎖只是在更新資料那一刻鎖表,其他時間不鎖表,所以相對於悲觀鎖,效率更高。

樂觀鎖的實現方式多種多樣可以通過version或者其他狀態條件:

1.通過版本號實現

update table_xxx set name=#name#,version=version+1 where version=#version#

2.通過條件限制

update table_xxx set avai_amount=avai_amount-#subAmount# where avai_amount-#subAmount# >= 0

要求:avai_amount-subAmount >=0
這個情景適合不用版本號,只更新是做資料安全校驗,適合庫存模型,扣份額和回滾份額,性能更高。

註意:樂觀鎖的更新操作,最好用主鍵或者唯一索引來更新,這樣是行鎖,否則更新時會鎖表,上面兩個sql改成下麵的兩個更好。

update table_xxx set name=#name#,version=version+1 where id=#id# and version=#version#

update table_xxx set avai_amount=avai_amount-#subAmount# where id=#id# and 
avai_amount-#subAmount# >= 0

分佈式鎖

還是拿插入資料的例子,如果是分佈是系統,構建全域性唯一索引比較困難,例如唯一性的欄位沒法確定,這時候可以引入分佈式鎖,通過第三方的系統(redis或zookeeper),在業務系統插入資料或者更新資料,獲取分佈式鎖,然後做操作,之後釋放鎖,其實就是為了控制多執行緒併發的操作,也是分佈式系統中經常用到的解決思路。

以上關於鎖的內容大家可以閱讀下這篇文章加深瞭解分佈式鎖總結

select + insert

併發不高的後臺系統,或者一些任務JOB,為了支持冪等,支持重覆執行,簡單的處理方法是,先查詢下一些關鍵資料,判斷是否已經執行過,在進行業務處理,就可以了。

註意:核心高併發流程不要用這種方法。

狀態機冪等

在設計單據相關的業務,或者是任務相關的業務,肯定會涉及到狀態機(狀態變更圖),就是業務單據上面有個狀態,狀態在不同的情況下會發生變更,一般情況下存在有限狀態機,這時候,如果狀態機已經處於下一個狀態,這時候來了一個上一個狀態的變更,理論上是不能夠變更的,這樣的話,保證了有限狀態機的冪等。

註意:訂單等單據類業務,存在很長的狀態流轉,一定要深刻理解狀態機,對業務系統設計能力提高有很大幫助。

對外提供接口的api如何保證冪等

如銀聯提供的付款接口:需要接入商戶提交付款請求時附帶:source來源,seq序列號

source+seq在資料庫裡面做唯一索引,防止多次付款,(併發時,只能處理一個請求)。

重點:

對外提供接口為了支持冪等呼叫,接口有兩個欄位必須傳,一個是來源source,一個是來源方序列號seq,這個兩個欄位在提供方系統裡面做聯合唯一索引,這樣當第三方呼叫時,先在本方系統裡面查詢一下,是否已經處理過,傳回相應處理結果;沒有處理過,進行相應處理,傳回結果。註意,為了冪等友好,一定要先查詢一下,是否處理過該筆業務,不查詢直接插入業務系統,會報錯,但實際已經處理了。

最後總結:

冪等性應該是合格程式員的一個基因,在設計系統時,是首要考慮的問題,尤其是在像第三方支付平臺,銀行,互聯網金融公司等涉及的網上資金系統,既要高效,資料也要準確,所以不能出現多扣款,多打款等問題,這樣會很難處理,並會大大降低用戶體驗。

赞(0)

分享創造快樂