歡迎光臨
每天分享高質量文章

詳解GPU直通技術和背景

GPU 直通是指服務器的GPU以直通方式分配給虛擬機,並通過遠程協議使得用戶可以從遠程進行接入。

 

GPU直通方式,將承載虛擬機的雲平臺的物理節點上的GPU顯卡系結分配給用戶虛擬機,終端用戶通過終端遠程接入用戶虛擬機,這樣虛擬機就可以使用GPU獲取3D加速能力。

優勢在於:支持多種型別的顯卡,兼容性好,支持符合最新DirectX、OpenGL規範的3D應用。

 

GPU直通的技術背景

 

當前圖像分類,視頻分析,語音識別以及自然語音處理等應用場景下,使用GPU 能極大提高併發處理性能。

 

例如:人臉識別需要處理成千上萬張高清圖片,電腦游戲也需要處理大量炫麗的游戲界面。這些都是GPU典型的使用場景。

 

GPU包含上千個計算單元,在並行計算方面展示出強大的優勢,GPU直通實體針對深度學習特殊優化,可在短時間內完成海量計算。

 

在科學計算領域,要求極強的雙精度計算能力,在模擬仿真過程中,消耗大量計算資源的同時,會產生大量臨時資料,對儲存帶寬與時延也有極高的要求。GPU直通實體可以滿足這些需求。

 

GPU 雲服務器(GPU Cloud Computing)是基於 GPU 的應用於深度學習、科學計算等多種 GPU 計算場景的快速、穩定、彈性的計算服務。

 

GPU直通實現方式:通過虛擬化平臺的直通技術可以將GPU直接給虛擬機使用,與物理服務器使用GPU的效果基本一致,在虛擬機內上只要安裝了對應GPU的驅動,GPU就可以為這個虛擬機提供高性能的圖形能力。

 

GPU直通的技術方案

GPU直通是也叫GPU pass-through直通,是將PCI插槽上的物理設備(這裡指GPU設備)繞過OS層,直接提供給了VM。一般情況下PCI設備提供到VM,是需要經過OS層面的設備驅動,經過OS識別到該PCI設備,再將物理設備模擬提供給了VM。

如圖所示,pass-through直通是直接把物理設備直通給虛擬機,在VM層面看到的該設備,就完全是一塊物理卡。普通的設備模擬需要經過HostOS的物理驅動,然後經過Qemu的模擬驅動,再轉發到Guest OS內的驅動上,在VM層面看到的設備實際上是模擬的設備。

GPU直通的技術優勢

 

  • 1、  性能損失小。無論是AI應用,深度學習還是科學計算來說,對使用GPU直通實體就是要極致利用GPU的性能,GPU直通技術由於沒有設備模擬和轉換的過程,性能損耗極小,如下表所示,GPU直通虛擬機的GPU性能與裸機上的GPU相比性能損失小於5%。GPU包含上千個計算單元,在並行計算方面展示出強大的優勢。

     

  • 2、  功能兼容性好。相對於設備模擬或者GPU虛擬化技術,因為虛擬機裡面直接安裝的是GPU廠商的驅動,直通設備可無損使用GPU的各項特性和功能:3D圖形加速渲染,視頻硬體編解碼,人工智慧,機器學習,以及最新的多GPU互聯互通等。

 

  • 3、 對GPU廠商無依賴。需要搬遷GPU服務器到雲上非常簡單,依賴於GPU直通技術,在幾天之內就可完成。

 

在科學計算大多數領域中都可以使用GPU加速,包括化學研究,流體動力學分析,結構分析,環境建模,地球物理學,可視化/圖像處理。在科學計算領域,要求極強的雙精度計算能力。

 

在模擬仿真過程中,消耗大量計算資源的同時,會產生大量臨時資料,對儲存帶寬與時延也有極高的要求,這些場景通常採用GPU直通技術。

已同步到看一看
赞(0)

分享創造快樂