歡迎光臨
每天分享高質量文章

直播 | TalkingData的Spark On Kubernetes實踐

分享時間:5月8日 20:30

分享主題TalkingData的Spark On Kubernetes實踐


分享人介紹徐蓓,TalkingData雲端計算架構師,負責雲端計算、OpenStack、Kubernetes和容器平臺的研發與架構。曾在HP、Face++等公司任職,從事雲端計算研發5年有餘。同時也是OpenStack與Kubernetes的contributor。崇尚工程師文化,以目的為導向,致力於推動技術落地與實踐。

分享摘要眾所周知,Spark作為快速、通用的資料處理引擎,已經成為大資料計算的事實標準。 而計算作業的資源分配和排程是Spark叢集的重中之重。在TalkingData的計算資源平臺化過程中,我們使用Kubernetes作為Spark的資源排程管理,利用Kubernetes的原生排程、資源配額、Namespace和Admission Controller,為使用者提供了可租戶隔離、動態伸縮和即拿即用的大資料計算平臺。


主要內容:

  • 如何部署可用於生產的Kubernetes叢集

  • Spark與Kubernetes整合

  • 如何實現租戶與資源隔離

  • Spark On Kubernetes待解決的問題

分享群:DockOne技術交流微信群

DockOne每週都會組織定向的技術分享,歡迎感興趣的同學加微信:liyingjiesa,或者掃描下方二維碼加群主微信,進群參與分享,進群暗號『加群』。如果已經在DockOne技術交流群那等待晚上的分享即可。

贊(0)

分享創造快樂