歡迎光臨
每天分享高質量文章

131,800,000,000 條資料記錄,這麼大的銀行資料庫是如何管理的?

答案就是新一代分佈式資料庫。

— Sequoiadb

 

如今,大型企業的應用平臺正在向微服務架構進行轉型。在微服務架構下,應用程式和資料庫等底層平臺的關係將會被重構。

作為新一代分佈式資料庫,其架構與功能特性需要保證在與傳統資料庫全兼容的基礎上,擁抱微服務與雲計算框架。因此,分佈式資料庫對於分佈式事務與 ACID 必須保證與傳統技術完全兼容。同時,在面向微服務應用開發與雲計算基礎架構時,新一代分佈式資料庫必須支持彈性擴張、資源隔離、多租戶、可配置一致性、多樣式(支持各類 SQL 協議)、集群內可配置容災策略等一系列功能。

傳統單點資料庫的容量瓶頸,僅僅是分佈式資料庫所解決的問題之一。更重要的是在未來微服務化應用開發以及雲化平臺的趨勢下,應用不再以“煙囪式”的中間件加資料庫樣式進行構建,而是採用數千甚至上萬的微服務程式構建成的複雜網狀模型。因此,分佈式資料庫需要滿足以下能力,才能夠滿足上層應用的彈性擴展、高併發、高吞吐量、與靈活敏捷的需求。

在這些技術需求驅動下,分佈式資料庫核心技術能力分為兩個方面,一方面是對傳統技術的兼容,包括:

◈ 完整的 ACID 支持,事務和一致性保證;
◈ SQL 的完整支持,傳統資料庫如 MySQL/PostgreSQL 的語法完全兼容。

另一方面,則是技術創新,包括:

◈ 分佈式與擴展性,應對資料量的變化,實現儲存層和計算層的彈性擴展;
◈ 多樣式訪問接口,支持多型別資料管理和多種樣式的訪問接口;
◈ HTAP 交易/分析混合處理能力,複雜業務需求下,實現資料的物理隔離,互不干擾。 

作為一款金融級分佈式關係型資料庫,SequoiaDB 巨杉資料庫的分佈式資料庫架構和麵向微服務的雲化產品形態,已經幫助包括民生銀行、恆豐銀行在內的多家大型金融客戶實現了大量業務系統的底層資料庫雲化轉型升級。

目前,巨杉資料庫在銀行生產系統單機群最大物理節點數達到 135 個,單集群最大儲存容量超過 2.1 PB,單集群最大管理資料條數 1318 億條。

SequoiaDB 巨杉資料庫作為一款金融級的分佈式關係型資料庫,在企業客戶雲化架構轉型過程中,提供了多種重要技術能力。

資料儲存資源池化

SequoiaDB 資料儲存引擎採用原生分佈式架構,資料完全打散在分佈式節點間儲存,自動化資料分佈和管理,資料可以按需靈活擴展。

SequoiaDB 採用分片技術為系統提供了橫向擴展機制,其分片過程對於應用程式來說完全透明。該機制解決了單台服務器硬體資源(如記憶體、CPU、磁盤 I/O)受限的問題,並不會增加應用程式開發的複雜性。巨杉資料庫通過原生分佈式架構,可以輕鬆實現 PB 級別資料管理,目前生產環境最大支持超過 1500 個節點集群。

SequoiaDB 巨杉資料庫儲存引擎也實現了 multi-model 多模資料管理,支持非結構化、結構化和半結構化資料全改寫並統一管理。SequoiaDB 的多模引擎設計讓資料庫平臺場景更多樣,也能符合雲資料架構下對於多樣化業務資料的統一管理與運維要求。

同時,在一個大型集群中,SequoiaDB 提供了多維度、多層級的邏輯與物理隔離能力。在一個典型的資料資源池型別基礎資料服務平臺(DBaas,DataBase As A Service)中,SequoiaDB 巨杉資料庫能夠同時服務於成百上千個不同 SLA 服務級別、優先級、業務特性、與資料量的應用程式,並保證應用程式之間的資料邏輯與物理隔離。

SequoiaDB 提供的“資料域(Domain)”特性,能夠將整個集群在物理設備層面進行隔離,確保不同的表、表空間、與資料庫實體坐落於獨立的硬體設備上,保證高優先級的聯機交易應用與後臺統計分析相互隔離互不干擾。

資料庫實體化

SequoiaDB 巨杉資料庫支持資料庫服務實體化。

針對微服務應用架構,用戶可以在同一個集群中創建成百上千個不同的關係型資料庫實體。資料庫實體的訪問與使用方式和傳統關係型資料庫 100% 兼容,同時其底層所使用的資料從邏輯上完全獨立,每個實體擁有自己獨立的權限管理、資料管控、甚至可以選擇部署在獨立的硬體環境或共享設備中。

目前 SequoiaDB 巨杉資料庫支持用戶創建 MySQL、PostgreSQL 與 SparkSQL 實體,同時還提供了JSON、S3物件儲存以及 Posix 檔案系統實體,充分滿足用戶對於結構化、半結構化、以及非結構化資料的需求。

從應用程式開發者與 DBA 的角度看,SequoiaDB 巨杉資料庫所提供的關係型資料庫實體,與傳統 MySQL、PostgreSQL 和 SparkSQL 保持全兼容。例如,在 SequoiaDB 巨杉資料庫中的 MySQL 實體中,其所有的增刪改查語法、視圖、觸發器、事務、甚至訪問計劃都與傳統 MySQL 保持一致。

作為分佈式資料庫,SequoiaDB 巨杉資料庫的 SQL 實體用戶不需要關心底層的資料到底被分散在一臺還是多台設備中。用戶可以簡單創建一個分割槽表,向其中寫入上億條記錄,其資料將會被自動分散在不同的物理設備中,對於應用程式根本無需關註分庫分表,資料庫自動提供分佈式事務以及分佈式訪問等能力。

雙活容災與資料安全

雙活容災即災備系統中使主生產端資料庫和備機端資料庫同時在線運行,處於可讀可寫狀態的技術。在銀行的交易系統中,雙活容災能力不僅保證資料不丟失,也保證系統在遭遇事故時能夠短時間內重新上線。在正常情況下,雙活架構的兩個資料中心都能夠同時提供業務的讀寫服務,而當一個中心宕機後,所有前端應用可以立刻切換至依然存活的資料中心繼續使用。

SequoiaDB 巨杉資料庫在內核層面實現了多種容災方式,包括同城雙活、同城雙中心、同城三中心、兩地三中心、與三地五中心等容災策略。通過使用 SequoiaDB 巨杉資料庫的容災與高可用機制,資料中心內的服務器故障可以保證 RTO 與 RPO 均為零,而整個資料中心或同城網絡故障也可以做到秒級 RTO=0、RPO=0。

關於 SequoiaDB 巨杉資料庫

巨杉資料庫專註新一代分佈式資料庫技術研發,自 2011 年成立以來,堅持從零開始打造分佈式開源資料庫引擎,是中國首家連續兩年入選 Gartner 資料庫報告的資料庫廠商。

巨杉資料庫的主要產品包括 SequoiaDB 分佈式關係型資料庫與 SequoiaCM 企業內容管理軟體,企業級應用場景包括分佈式在線交易、資料中台、分佈式內容管理等。

目前巨杉資料庫已在超過 50 家 500 強級別的大型商業銀行核心生產業務上線,企業用戶總數超過 1000 家。

已同步到看一看
赞(0)

分享創造快樂