歡迎光臨
每天分享高質量文章

圖解分佈式架構的演進過程

  • 一、什麼是分佈式架構
  • 二、分佈式架構的應用
  • 三、資源推薦
  • 四、分佈式架構的演進
  • 五、分佈式服務應用會面臨哪些問題?

一、什麼是分佈式架構

分佈式系統(distributed system) 是建立在網絡之上的軟體系統。

內聚性:是指每一個資料庫分佈節點高度自治,有本地的資料庫管理系統。

透明性:是指每一個資料庫分佈節點對用戶的應用來說都是透明的,看不出是本地還是遠程。

在分佈式資料系統中,用戶感覺不資料是分佈的,即用戶不須知道關係是否分割,有無副本,資料存在於那個站點以及事物在哪個站點上執行。

簡單來說:在一個分佈式系統中,一組獨立的計算機展現給用戶的是一個統一的整體,就好像是一個系統似的。

img

分佈式系統作為一個整體對用戶提供服務,而整個系統的內部的協作對用戶來說是透明的,用戶就像是指使用一個mysql 一樣。

如:分佈式mysql中間件 mycat ,來處理大併發大資料量的構架。

二、分佈式架構的應用

1、分佈式檔案系統

例如:出名的有 Hadoop 的 HDFS, 還有 google的 GFS , 淘寶的 TFS 等;

2、分佈式快取系統

例如:memcache , hbase, mongdb 等;

3、分佈式資料庫

例如:mysql, mariadb, postgreSql 等;

4、分佈式webService

5、分佈式計算

以分佈式mysql資料庫中間件mycat 為例:

MySQL 在現在電商以及互聯網公司的應用非常多,一個是因為他的免費開源,另外一個原因是因為分佈式系統的水平可擴展性,隨著移動互聯網用戶的暴增,互聯網公司,像淘寶,天貓,唯品會等電商都採用分佈式系統應對用戶的高併發量以及大資料量的儲存。而在Mycat的商業案例中,有對中國移動的賬單結算專案中,應用實時處理高峰期每天2億的資料量,在對物聯網的專案中,實現處理高達26億的資料量,並提供實時查詢的接口。

通過對MyCat的學習,加深分佈式系統架構的理解,以及分佈式相關的技術,分佈式一致性ZooKeeper服務, 高可用HAProxy/keepalived等相關應用。

集群與分佈式;

負載均衡;

分佈式相關的高可用、容災等名詞解釋;

Mycat中間件學習

三、資源推薦

1、大型分佈式網站架構設計與實踐:http://item.jd.com/11529266.html

2、大型網站技術架構:核心原理與案例分析:http://item.jd.com/11322972.html

3、大型網站系統與Java中間件實踐:http://item.jd.com/11449803.html

4、分佈式Java應用:基礎與實踐:http://item.jd.com/10144196.html

四、分佈式架構的演進

1、初始階段架構

img

特征:應用程式,資料庫,檔案等所有資源都放在一臺服務器上。

2、應用服務和資料服務以及檔案服務分離

img

說明:好景不長,發現隨著系統訪問量的再度增加,webserver機器的壓力在高峰期會上升到比較高,這個時候開始考慮增加一臺webserver。

特征:應用程式、資料庫、檔案分別部署在獨立的資源上。

3、使用快取改善性能

img

說明:系統訪問特點遵循二八定律,即80%的業務訪問集中在20%的資料上。

快取分為本地快取遠程分佈式快取,本地快取訪問速度更快但快取資料量有限,同時存在與應用程式爭用記憶體的情況。

特征:資料庫中訪問較集中的一小部分資料儲存在快取服務器中,減少資料庫的訪問次數,降低資料庫的訪問壓力。

4、使用“應用服務器”集群

img

說明:在做完分庫分表這些工作後,資料庫上的壓力已經降到比較低了,又開始過著每天看著訪問量暴增的幸福生活了。

突然有一天,發現系統的訪問又開始有變慢的趨勢了,這個時候首先查看資料庫,壓力一切正常,之後查看webserver,發現apache阻塞了很多的請求,而應用服務器對每個請求也是比較快的,看來是請求數太高導致需要排隊等待,響應速度變慢。

特征:多台服務器通過負載均衡同時向外部提供服務,解決單台服務器處理能力和儲存空間上限的問題。

描述:使用集群是系統解決高併發、海量資料問題的常用手段。通過向集群中追加資源,提升系統的併發處理能力,使得服務器的負載壓力不再成為整個系統的瓶頸。

5、資料庫讀寫分離

img

說明:享受了一段時間的系統訪問量高速增長的幸福後,發現系統又開始變慢了,這次又是什麼狀況呢,經過查找,發現資料庫寫入、更新的這些操作的部分資料庫連接的資源競爭非常激烈,導致了系統變慢。

特征:多台服務器通過負載均衡同時向外部提供服務,解決單台服務器處理能力和儲存空間上限的問題。

描述:使用集群是系統解決高併發、海量資料問題的常用手段。通過向集群中追加資源,使得服務器的負載壓力不在成為整個系統的瓶頸。

6、反向代理和CDN加速

img

特征:採用CDN和反向代理加快系統的訪問速度。

描述:為了應付複雜的網絡環境和不同地區用戶的訪問,通過CDN和反向代理加快用戶訪問的速度,同時減輕後端服務器的負載壓力。CDN與反向代理的基本原理都是快取。

7、“分佈式檔案”系統 和 “分佈式資料庫”

img

說明:隨著系統的不斷運行,資料量開始大幅度增長,這個時候發現分庫後查詢仍然會有些慢,於是按照分庫的思想開始做分表的工作

特征:資料庫採用分佈式資料庫,檔案系統採用分佈式檔案系統。

描述:任何強大的單一服務器都滿足不了大型系統持續增長的業務需求,資料庫讀寫分離隨著業務的發展最終也將無法滿足需求,需要使用分佈式資料庫及分佈式檔案系統來支撐。

分佈式資料庫是系統資料庫拆分的最後方法,只有在單表資料規模非常龐大的時候才使用,更常用的資料庫拆分手段是業務分庫,將不同的業務資料庫部署在不同的物理服務器上。

8、使用NoSQL和搜索引擎

img

特征:系統引入NoSQL資料庫及搜索引擎。

描述:隨著業務越來越複雜,對資料儲存和檢索的需求也越來越複雜,系統需要採用一些非關係型資料庫如NoSQL和分資料庫查詢技術如搜索引擎。

應用服務器通過統一資料訪問模塊訪問各種資料,減輕應用程式管理諸多資料源的麻煩。

9、業務拆分

img

特征:系統上按照業務進行拆分改造,應用服務器按照業務區分進行分別部署。

描述:為了應對日益複雜的業務場景,通常使用分而治之的手段將整個系統業務分成不同的產品線,應用之間通過超鏈接建立關係,也可以通過訊息佇列進行資料分發,當然更多的還是通過訪問同一個資料儲存系統來構成一個關聯的完整系統。

縱向拆分:將一個大應用拆分為多個小應用,如果新業務較為獨立,那麼就直接將其設計部署為一個獨立的Web應用系統 縱向拆分相對較為簡單,通過梳理業務,將較少相關的業務剝離即可。

橫向拆分:將復用的業務拆分出來,獨立部署為分佈式服務,新增業務只需要呼叫這些分佈式服務 橫向拆分需要識別可復用的業務,設計服務接口,規範服務依賴關係。

10、分佈式服務

img

特征:公共的應用模塊被提取出來,部署在分佈式服務器上供應用服務器呼叫。

描述:隨著業務越拆越小,應用系統整體複雜程度呈指數級上升,由於所有應用要和所有資料庫系統連接,最終導致資料庫連接資源不足,拒絕服務。

五、分佈式服務應用會面臨哪些問題?

1、當服務越來越多時,服務URL配置管理變得非常困難,F5硬體負載均衡器的單點壓力也越來越大。

2、當進一步發展,服務間依賴關係變得錯蹤複雜,甚至分不清哪個應用要在哪個應用之前啟動,架構師都不能完整的描述應用的架構關係。

3、接著,服務的呼叫量越來越大,服務的容量問題就暴露出來,這個服務需要多少機器支撐?什麼時候該加機器?

4、服務多了,溝通成本也開始上升,調某個服務失敗該找誰?服務的引數都有什麼約定?

5、一個服務有多個業務消費者,如何確保服務質量?

6、隨著服務的不停升級,總有些意想不到的事發生,比如cache寫錯了導致記憶體上限溢位,故障不可避免,每次核心服務一掛,影響一大片,人心慌慌,如何控制故障的影響面?服務是否可以功能降級?或者資源劣化?

已同步到看一看
赞(0)

分享創造快樂