歡迎光臨
每天分享高質量文章

(文中有驚喜)走進雲時代的資料庫

資料技術嘉年華等你來

雲時代的資料庫

最近幾年,隨著雲計算相關技術的發展,各種不同型別的雲層出不窮,服務越來越多不同型別的企業業務,傳統企業也漸漸開始探索上雲的道路。在雲上,作為業務最核心的資料庫,相比之前的傳統方案會有哪些變化呢?

那麼雲資料庫主要有一些什麼樣的特點呢?

  • 彈性伸縮

傳統的資料庫方案,常見的會選用 Oracle,MySQL,PostgreSQL。在雲時代,資料量的規模有爆發性的增長,傳統的資料庫很容易遇到單機的儲存瓶頸,不得不選用一些集群方案,常見的比如 Oracle RAC、 MySQL Sharding 等,而這些集群方案或多或少都有一些不令人滿意的地方。

比如說,Oracle RAC 通過共享儲存的硬體方案解決集群問題,這種方式基本上只能通過停機換用更大的共享記憶體硬體來解決擴容問題,RAC 節點過多會帶來更多的併發問題,同樣也會帶來更高的成本。

以 MySQL Sharding 為代表的資料分片方案,很多時候不得不提前對資料量進行規劃,把擴容作為很重要的一個計劃來做,從 DBA 到運維到測試到開發人員,很早之前就要做相關的準備工作,真正擴容的時候,為了保證資料安全,經常會選擇停服務來保證沒有新的資料寫入,新的分片資料同步後還要做資料的一致性校驗。當然業界大公司有足夠雄厚的技術實力,可以採用更複雜的方案,將擴容停機時間儘量縮短(但是很難縮減到 0),但是對於大部分中小互聯網公司和傳統企業,依然無法避免較長時間的停服務。

在雲時代,理想中所有的資源都是根據用戶業務需求按需分配的,服務器資源,應用容器資源,當然也包括資料庫資源。添加或者減少新的資料庫資源,完全就像日常吃飯那樣稀疏平常,甚至用戶基本感知不到。比如作為一個電商用戶,在雙 11 促銷活動之前,可以通過增加資料庫節點的方式,擴大更多的資源池,用來部署相應的容器服務,當活動結束之後,再將多餘的資源移除去支持其他的服務,這樣可以極大地提高資源的利用率,同樣可以彈性地支撐各種峰值業務。

  • 高可用

傳統的 MySQL 方案,資料複製的時候預設採用異步的方式,對於一個寫入的請求,主庫寫入成功後就會傳回成功信息給客戶端,但是這個時候資料可能還沒有同步給從庫,一旦主庫這個時候掛掉了,啟動從庫的時候就會有丟失資料的風險。當然,也有人會選擇半同步的複製方式,這種方式在正常情況下是同步的,但是在遇到資料壓力比較大的時候,依然會退化為異步的方式,所以本質上來說,同樣有丟失資料的風險。其他也有一些多主的同步方案,比如在應用層做資料同步,但是這種方式一是需要應用層的配合,二是在對網絡超時的處理非常複雜,增加心智負擔。

在雲時代,因為所有的資料庫資源都是分佈式儲存的,每個資料庫節點出現問題都是很正常的事情,所以就必須有一種可以實現資料一致性的資料複製方式來保證服務的高可用,業界給出的答案就是:Paxos/Raft(關於 Paxos 和 Raft 的實現細節我們不在這裡展開)。

同樣,在雲時代,資料庫的 DDL 操作也會是一個非常有趣的事情。以一個常見的 Add Column 操作為例,在表規模已經很大的情況下,在傳統的實現方案中,比較有參考意義的是,通過一些工具,創建類似表級別的觸發器,將原表的資料同步到一個新的臨時表中,當資料追平的時候,再進行一個鎖表操作,將臨時表命名為原表,這樣一個 Add Column 操作就完成了。但是在雲時代,分佈式的資料儲存方式決定了這種方案很難實現,因為每個資料庫節點很難保證 Schema 狀態變更的一致性,而且當資料規模增長到幾十億,幾百億甚至更多的時候,很短的阻塞時間都有可能會導致很大的負載壓力變化,所以 DDL 操作必須是保證無阻塞的在線操作。值得欣慰的是,Google 的 F1 給我們提供了很好的實現參考,TiDB 即是根據 F1 的啟發進行的研發,感興趣的同學可以看下相關的內容。

  • 易用透明

我們可以將雲資料庫想象成一個提供無限大容量的資料庫,傳統資料庫遇到單機資料儲存瓶頸的問題將不復存在。已有的程式基本上不怎麼需要修改已有的代碼,就可以很自然地接入到雲資料庫中來獲得無限 Scale 的能力。增減資料庫節點,或者節點的故障恢復,對於應用層來說完全透明。另外,雲資料庫的監控、運維、部署、備份等等操作都可以在雲端通過高效的自動化工具來自動完成,極大地降低了運維成本。

  • 多租戶

雲資料庫本身應該是可以彈性伸縮的,所以很自然的,從資源利用率的角度來考慮,多個不同用戶的資料庫服務底層會跑在一個共享的雲資料庫中。因此多租戶技術會成為雲資料庫的標配。

低成本

低成本應該是雲時代基礎設施最明顯的特點。首先,雲資料庫的高可用和容錯能力,使得我們不再需要昂貴的硬體設備,只需要普通的 X86 服務器就可以提供服務。然後,受益於 Docker 的虛擬化技術,使得不同型別的應用容器可以跑在同一個物理機上,這樣可以極大地提高資源的利用率。其次,多租戶的支持,使得不同的用戶可以共用一套底層的資料庫儲存系統,在資料庫層面再一次提高了資源的利用效率。再次,雲資料庫的自動化運維工具,降低了整個核心資料庫的運維成本。最後,雲資料庫資源是按需分配的,用戶完全可以根據自身的業務特點,選購合適的服務資源。

  • 高吞吐

雲資料庫雖然可以做到彈性擴容,但是本身是分佈式儲存的,雖然可以通過 Batch Write、Pipeline 和 Router Cache 等方式加快訪問 SQL 請求的資料,但是相對傳統單機的資料庫來說,在資料訪問鏈路上至少也要多走一次網絡,所以大部分併發量不大的小資料量請求,都會比單機延遲要高一些。也就是說,當沒有足夠高的併發 SQL 訪問的話,其實不能完全體現雲資料庫的性能優勢,所以這也是我們在選用雲資料庫的時候需要認識到的問題,雲資料庫更多的是追求高吞吐,而不是低延遲。當併發大到一定規模,雲資料庫高吞吐特性就顯現出來了,即使在很高的併發下,依然可以維持相當穩定的延遲,而不會像單機資料庫那樣,延遲線性增長。當然,延遲的問題,在合理的架構設計方案下,可以通過快取的方式得到極大的緩解。

  • 資料安全

雲資料庫的物理服務器分佈在多個機房,這就為跨資料庫中心的資料安全提供了最基礎的硬體支持。談到金融業務,大家耳熟能詳的可能就是兩地三中心,比如北京有兩個機房,上海有一個。未來一切服務都跑在雲上,金融類的業務當然也不例外。相比其他業務,金融類業務對資料安全要求就要高得多。當然,每個公司內部都有核心的業務,所以如果上雲的話,也會有同樣的強烈需要。這樣,對雲資料庫來說,資料的一致性、分佈式事務、跨資料中心的資料安全等更高端的需求有可能會日益強烈。常見的資料備份也有可能會被其他新的樣式所取代或者弱化,比如基於 Paxos/Raft 的多副本方案,本身就保證了會有多份備份。

  • 自動負載平衡

對於雲資料庫來說,負載平衡是一個很重要的問題,它直接決定了整個雲資料庫系統性能的好壞,如果一個資料庫節點的資料訪問過熱的話,就需要考慮把資料遷移到其他的資料庫節點來分擔負載,不然就很容易出現性能瓶頸。整個負載平衡是一個動態的過程,調度演算法需要保證資源配比的最大平衡,還有保證資料遷移的過程對系統整體的負載影響最小。這在未來也是雲資料庫需要解決的一個核心問題。

 

本屆資料技術嘉年華活動,“雲”也是一個分享的重點,這裡,我們列出了部分嘉賓以及他們帶來的主題,看看有您感興趣的嗎?(掃描任意二維碼即可註冊購票,99元的票務參會後全額退款)

主題 嘉賓 公司和職務
企業服務的新時代   花磊 博雲創始人,CEO
基於企業核心資料系統的PaaS雲平臺建設新進展 熊軍 雲和恩墨研發總經理
業務場景驅動,IaaS與PaaS融合成常態 王璞 優雲數智CTO
開源雲計算推動金融雲創新實踐  周崇毅  EasyStack副總裁 
企業容器化平臺落地的二三事  葉挺  DaoCloud產品總監 
燃燒雲的卡路里,在雲端運行資料密集型工作負荷 董乃文 微軟首席創新技術架構師
雲時代的SQL Server及高可用技術解析 鄒建 雲和恩墨研究員
穩築基石,雲帆萬里-資料技術的發展和平臺創新   蓋國強 雲和恩墨創始人
下一代企業級雲資料庫POLARDB架構設計 呂漫漪  阿裡雲研究員
騰訊雲自研分佈式資料庫—CynosDB  胡彬  騰訊雲專家工程師
Oracle 18c 雲時代下的架構與創新 侯聖文 恩墨學院院長

 

 

來自清華大學MBA,中科院軟體所碩士、軟體工程博士 花磊 先生,他是博雲的創始人 CEO,曾在微軟亞洲工程院長期任職,擔任Office 365平臺監管和資料挖掘模塊的高級專案經理,設計並完成Office 365平臺的第一版的服務器BI功能。花磊老師帶來的主題是“企業服務的新時代”。

 

來自雲和恩墨的 熊軍 先生,他是雲和恩墨軟體產品研發部總經理,Oracle ACE總監,具備近20年的資料領域服務經驗,面對雲時代的挑戰,熊軍帶領團隊研發了基於底層分佈式儲存的zData資料庫一體機,支持多資料庫管理運行的PaaS平臺 zCloud,這些產品正在幫助電信、金融等行業客戶快速構建統一的資料庫雲平臺,在本次大會他將和大家分享PaaS領域的新進展以及核心行業客戶的實踐案例。熊老師帶來的主題是“基於企業核心資料系統的PaaS雲平臺建設新進展”。

 

來自EasyStack的 周崇毅 先生,他是 EasyStack 公司副總裁,曾任職於Oracle公司,擔任中國區政府行業Exadata首席架構師、在HP公司擔任中國北方區政府行業技術主管職位、在長天科技集團擔任技術總監職位。周崇毅老師帶來的主題是“開源雲計算推動金融雲創新實踐”。

 

來自優雲數智的CTO 王璞 博士,美國 George Mason 大學計算機博士,北大計算機碩士,擅長分佈式計算、大規模機器學習、海量資料處理,曾任 Google 廣告部門資料平臺構架師。王璞老師帶來的主題是“業務場景驅動,IaaS與PaaS融合成常態”。

 

來自微軟公司的首席創新技術架構師 董乃文 先生,他有20多年的計算機軟體行業工作經驗,積極推動雲計算、大資料、人工智慧等創新技術在製造業、零售業、新媒體、在線游戲等行業的技術推廣與合作。作為標準化專家工作組成員參加多個雲計算、大資料、SOA等國家技術標準的制定工作。曾任北京軟體行業協會軟體過程改進協會秘書處副秘書長等積極推動創新開發方法和技術的社區共享。董老師帶來的主題是“燃燒雲的卡路里,在雲端運行資料密集型工作負荷”。

 

來自DaoCloud公司的產品總監 葉挺 先生,他對於企業應用上雲有深入研究和豐富實踐,擅長從業務場景尋找技術解決方案,致力於幫助企業落地金融級穩定的應用支持 PaaS 平臺。葉老師帶來的主題“企業容器化平臺落地的二三事 ”。

 

阿裡雲研究員 呂漫漪 女士,她在資料庫領域有近20年的從業經驗。2018年加入阿裡雲,負責領導基於MySQL的雲資料庫開發。在此之前就職於Oracle,負責領導全球MySQL的 query processing團隊,並曾在Sun的資料庫核心部門任職產品經理和工程經理,呂老師帶來的主題是下一代企業級雲資料庫POLARDB架構設計”。

 

胡彬,專家工程師,10年後臺研發經驗,從事資料庫領域工作近5年。目前任職於騰訊雲資料庫團隊,負責騰訊雲TDSQL、PostgreSQL、SQLServer等多款資料庫產品的研發工作。目前主導CynosDB的架構設計與研發。胡老師帶來的主題是“騰訊雲自研分佈式資料庫—CynosDB”

 

侯聖文,Oracle ACED,OCM聯盟創始人,ACOUG核心講師,曾任職於海關總署資料中心;國際航空運輸協會(IATA)任資料架構師。現任雲和恩墨培訓業務中心總經理一職,致力推廣Oracle技術。培訓經驗豐富,講課富有激情和感染力,善於理論聯繫實踐,擅長以通俗易懂、詼諧幽默的語言講解枯燥深奧的資料庫理論,作為OCM認證金牌講師,目前培養OCM大師百餘人,培訓DBA千餘人。侯老師帶來的主題是“Oracle 18c 雲時代下的架構與創新”。

 

鄒建,資深資料庫專家,精通各項 SQL Server 技術,具有豐富的管理、維護、優化能力以及業務應用經驗。他一直熱心於技術知識的分享、傳播,持續活躍在 CSDN 和 MSDN 社區,曾多年蟬聯 CSDN 論壇積分榜首。鄒建還是 2004~2010、2013 年度 MVP (微軟最有價值專家)獲得者。著有《深入淺出 SQL Server 2005開發、管理與應用實體》《SQL Server 2000開發與管理應用實體》等暢銷書。鄒建老師帶來的主題是“雲時代的 SQL Server及高可用技術解析

蓋國強,雲和恩墨創始人,Oracle ACE總監,中國地區首位Oracle ACE和ACE總監,曾獲評”中國首屆傑出資料庫工程師”獎,擁有近 20 年的資料庫實施和顧問咨詢經驗,對於資料庫性能優化及內部技術具有深入理解。著有《深入解析Oracle》、《循序漸進Oracle》等技術書籍。蓋老師帶來的主題是“穩築基石,雲帆萬里-資料技術的發展和平臺創新”。

本文參考鏈接:https://zhuanlan.zhihu.com/p/27008115(雲時代資料庫的核心特點)

資料技術嘉年華大禮包

在本屆資料技術嘉年華大會上,您不僅可以獲得行業技術大禮包,我們在現場為技術愛好者們準備了抽獎環節,主辦方以及各大贊助伙伴為大家準備了多份精美大禮包,每個禮包中包含…

 

  • 青雲——精美限量紀念T恤   

  • 雲和恩墨——限量紀念電腦內膽包

  • PingCAP——健身斜跨帆布包 

  • 至頂網——精美玩偶   

  • 戴爾——馬拉松紀念款摺疊雙肩包

  • 創業邦——2018年會價值588門票1張    

  • 容聯——2018商務電腦手提包  

  • 易捷行雲——運動款紀念雙肩包   

  • 華章——2018珍藏版技術圖書

  • 等等

 

支付寶“錦鯉”活動僅僅出現了一個“信小獃”,本屆資料技術嘉年華現場將出現多個“信小獃”,以上只是禮包中部分獎品,小編已經迫不及待想要更多的人知道這個福利了,動動手指,轉發出去,攜身邊技術愛好者一起來享用這場技術盛宴,最後“滿載而歸” 吧,[壞笑][壞笑]。

 

社團粉絲福利:本文下方評論點贊滿10個的讀者可以得到價值99元優惠券,小編會留言回覆您優惠碼,一分錢即可參會。

 

集贊截止時間:2018年11月15日。

 

點擊“原文鏈接”註冊購票哦,購票過程中有任何問題,可加小助手微信:Enmoedu05。

資料技術嘉年華等你來!


近期文章

 

刪了庫之後,不要著急跑路

一道面試題看資料庫性能和安全的方方面面

Percona發佈XtraBackup for MySQL 8.0

獨立發佈的Oracle嚴重CVE-2018-3110公告

Oracle宣佈在雲上正式上線 自治事務處理資料庫

為什麼看了那麼多災難,還是過不好備份這一關?

    赞(0)

    分享創造快樂