歡迎光臨
每天分享高質量文章

詳解NVMe SSD儲存性能影響因素

導讀: NVMe SSD的性能時常捉摸不定,為此我們需要打開SSD的神秘盒子,從各個視角分析SSD性能影響因素,並思考從儲存軟體的角度如何最優化使用NVMe SSD,推進資料中心閃存化行程。本文從NVMe SSD的性能影響因素進行分析,並給出儲存系統設計方面的一些思考。


目錄


1 儲存介質的變革    
2 NVME SSD成為主流    
2.1 NAND FLASH介質發展    
2.2 軟體層面看SSD——多佇列技術    
2.3 深入理解SSD硬體    
3 影響NVME SSD的性能因素    
3.1 GC對性能的影響    
3.2 IO PATTERN對性能的影響    
3.2.1 順序寫入Pattern對SSD性能優化的奧秘    
3.2.2 讀寫衝突Pattern對性能的影響    
4 SSD寫性能分析模型    
5 小結


NVMe SSD的性能時常捉摸不定,為此我們需要打開SSD的神秘盒子,從各個視角分析SSD性能影響因素,並思考從儲存軟體的角度如何最優化使用NVMe SSD,推進資料中心閃存化行程。本文從NVMe SSD的性能影響因素進行分析,並給出儲存系統設計方面的一些思考。


1 儲存介質的變革 


近幾年儲存行業發生了翻天覆地的變化,半導體儲存登上了歷史的舞臺。和傳統磁盤儲存介質相比,半導體儲存介質具有天然的優勢。無論在可靠性、性能、功耗等方面都遠遠超越傳統磁盤。目前常用的半導體儲存介質是NVMe SSD,採用PCIe接口方式與主機進行交互,大大提升了性能,釋放了儲存介質本身的性能。通常NVMe SSD內部採用NAND Flash儲存介質進行資料儲存,該介質本身具有讀寫不對稱性,使用壽命等問題。為此在SSD內部通過FTL(Flash Translation Layer)解決NAND Flash存在的問題,為上層應用軟體呈現和普通磁盤相同的應用接口和使用方式。


如上圖所示,隨著半導體儲存介質的發展,計算機系統的IO性能得到了飛速發展。基於磁介質進行資料儲存的磁盤和處理器CPU之間一直存在著棘手的剪刀差性能鴻溝。隨著儲存介質的演進與革新,這種性能剪刀差將不復存在。從整個系統的角度來看,IO性能瓶頸正從後端磁盤往處理器和網絡方向轉移。如下圖性能資料所示,在4KB訪問粒度下,NVMe SSD和15K轉速磁盤相比,每秒隨機讀IO處理能力提升了將近5000倍;每秒隨機寫IO處理能力提升了1000多倍。隨著非易失性儲存介質的進一步發展,半導體儲存介質的性能將進一步提升,並且會具有更好的IO QoS能力。



儲存介質的革命一方面給儲存系統性能提升帶來了福音;另一方面對儲存系統的設計帶來了諸多挑戰。原有面向磁盤設計的儲存系統不再適用於新型儲存介質,面向新型儲存介質需要重新設計更加合理的儲存軟體堆棧,發揮儲存介質的性能,並且可以規避新介質帶來的新問題。面向新型儲存介質重構儲存軟體棧、重構儲存系統是最近幾年儲存領域的熱門技術話題。


在面向NVMe SSD進行儲存系統設計時,首先需要對NVMe SSD本身的特性要非常熟悉,需要瞭解SSD性能的影響因素。在設計過程中需要針對SSD的特性通過軟體的方式進行優化。本文對SSD進行簡要介紹,並從性能影響因素角度出發,對NVMe SSD進行深入剖析,在此基礎上給出閃存儲存設計方面的一些思考。


2 NVMe SSD成為主流


2.1 NAND Flash介質發展

目前NVMe SSD主流採用的儲存介質是NAND Flash。最近幾年NAND Flash技術快速發展,主要發展的思路有兩條:第一,通過3D堆疊的方式增加NAND Flash的儲存密度;第二,通過增加單Cell比特數來提升NAND Flash的儲存密度。3D NAND Flash已經成為SSD標配,目前主流發佈的SSD都會採用3D NAND Flash技術工藝。從cell的角度來看,目前單個cell可以表示3bit,這就是通常所說的TLC NAND Flash。

今年單個cell的bit儲存密度又提升了33%,可以表示4bit,向前演進至QLC NAND Flash。NAND Flash的不斷演進,推動了SSD儲存密度不斷提升。截止到今天,單個3.5寸SSD盤可以做到128TB的容量,遠遠超過了磁盤的容量。下圖是近幾年NAND Flash技術的發展、演進過程。



從上圖可以看出,NAND Flash在不斷演進的過程中,一些新的非易失性記憶體技術也開始發展。Intel已經推出了AEP記憶體儲存介質,可以預計,未來將會是非易失性記憶體和閃存共存的半導體儲存時代。


2.2 軟體層面看SSD——多佇列技術


從軟體接口的角度來看,NVMe SSD和普通的磁盤沒有太多的區別,在Linux環境下都是標準塊設備。由於NVMe SSD採用了最新的NVMe協議標準,因此從軟體堆棧的角度來看,NVMe SSD的軟體棧簡化了很多。在NVMe標準中,和傳統的SATA/SAS相比,一個重大的差別是引入了多佇列機制,如下圖所示。



何為多佇列技術?主機(X86 Server)與SSD進行資料交互的模型採用“生產者-消費者”模型,採用生產者-消費者佇列進行資料交互。在原有的AHCI規範中,只定義了一個交互佇列,那麼主機與HDD之間的資料交互只能通過一個佇列通信,多核處理器也只能通過一個佇列與HDD進行資料交互。在磁盤儲存時代,由於磁盤是慢速設備,所以一個佇列也就夠用了。

多個處理器核通過一個共享佇列與磁盤進行資料交互,雖然處理器之間會存在資源競爭,但是相比磁盤的性能,處理器之間競爭所引入的開銷實在是微乎其微,可以忽略。在磁盤儲存時代,單佇列有其他的好處,一個佇列存在一個IO調度器,可以很好的保證提交請求的IO順序最優化。


和磁盤相比,半導體儲存介質具有很高的性能,AHCI原有的規範不再適用,原有的假設也已經不復存在,在此背景下NVMe規範誕生了。NVMe規範替代了原有的AHCI規範,並且軟體層面的處理命令也進行了重新定義,不再採用SCSI/ATA命令規範集。在NVMe時代,外設和處理器之間的距離更近了,不再需要像SAS一樣的面向連接的儲存通信網絡。相比於以前的AHCI、SAS等協議規範,NVMe規範是一種非常簡化,面向新型儲存介質的協議規範。該規範的推出,將儲存外設一下子拉到了處理器區域性總線上,性能大為提升。並且主機和SSD處理器之間採用多佇列的設計,適應了多核的發展趨勢,每個處理器核與SSD之間可以採用獨立的硬體Queue Pair進行資料交互。


從軟體的角度來看,每個CPU Core都可以創建一對Queue Pair和SSD進行資料交互。Queue Pair由Submission Queue與Completion Queue構成,通過Submission queue發送資料;通過Completion queue接受完成事件。SSD硬體和主機驅動軟體控制queue的Head與Tail指標完成雙方的資料交互。


2.3 深入理解SSD硬體


和磁盤相比,NVMe SSD最大的變化在於儲存介質發生了變化。目前NVMe SSD普遍採用3D NAND Flash作為儲存介質。NAND Flash內部有多個儲存陣列單元構成,採用floating gate或者charge trap的方式儲存電荷,通過儲存電荷的多少來保持資料儲存狀態。由於電容效應的存在、磨損老化、操作電壓干擾等問題的影響,NAND Flash天生會存在漏電問題(電荷泄漏),從而導致儲存資料發生變化。因此,從本質上講,NAND Flash是一種不可靠介質,非常容易出現Bit翻轉問題。SSD通過控制器和韌體程式將這種不可靠的NAND Flash變成了可靠的資料儲存介質。


為了在這種不可靠介質上構建可靠儲存,SSD內部做了大量工作。在硬體層面,需要通過ECC單元解決經常出現的比特翻轉問題。每次資料儲存的時候,硬體單元需要為儲存的資料計算ECC校驗碼;在資料讀取的時候,硬體單元會根據校驗碼恢復被破壞的bit資料。ECC硬體單元集成在SSD控制器內部,代表了SSD控制器的能力。在MLC儲存時代,BCH編解碼技術可以解決問題,4KB資料中存在100bit翻轉時可以糾正錯誤;在TLC儲存時代,bit錯誤率大為提升,需要採用更高糾錯能力的LDPC編解碼技術,在4KB出現550bit翻轉時,LDPC硬解碼仍然可以恢復資料。下圖對比了LDPC硬解碼、BCH以及LDPC軟解碼之間的能力, 從對比結果可以看出,LDPC軟解碼具有更強的糾錯能力,通常使用在硬解碼失效的情況下。LDPC軟解碼的不足之處在於增加了IO的延遲。


在軟體層面,SSD內部設計了FTL(Flash Translation Layer),該軟體層的設計思想和Log-Structured File System設計思想類似。採用log追加寫的方式記錄資料,採用LBA至PBA的地址映射表記錄資料組織方式。Log-structured系統最大的一個問題就是垃圾回收(GC)。因此,雖然NAND Flash本身具有很高的IO性能,但受限於GC的影響,SSD層面的性能會大受影響,並且存在十分嚴重的IO QoS問題,這也是目前標準NVMe SSD一個很重要的問題。

SSD內部通過FTL解決了NAND Flash不能Inplace Write的問題;採用Wear Leveling演算法解決了NAND Flash磨損均衡問題;通過Data Retention演算法解決了NAND Flash長時間存放漏電問題;通過Data Migration方式解決Tead Diatribe問題。FTL是NAND Flash得以大規模使用的核心技術,是SSD的重要組成部分。



NAND Flash內部本身具有很多併發單元,如上圖所示,一個NAND Flash芯片由多個Target構成,每個Target包含多個Die。每個Die是一個獨立的儲存單元,一個Die由多個Plane構成,多個Plane之間共享一套操作總線,多個Plane可以組成一個單元併發操作,構建Multi-plane。一個Plane由若干個Block構成,每個Block是一個擦除單元,該單元的大小也決定了SSD軟體層面的GC回收粒度。每個Block由多個page頁構成,每個Page是最小寫入(編程)單元,通常大小為16KB。SSD內部軟體(韌體)需要充分利用這些併發單元,構建高性能的儲存盤。


一塊普通NVMe SSD的物理硬體結構簡單,由大量的NAND Flash構成,這些NAND Flash通過SOC(SSD控制器)進行控制,FTL軟體運行在SOC內部,並通過多佇列的PCIe總線與主機進行對接。為了提升性能,企業級SSD需要板載DRAM,DRAM資源一方面可以用來快取資料,提升寫性能;另一方面用來快取FTL映射表。企業級SSD為了提升性能,通常採用Flat mapping的方式,需要占據較多的記憶體(0.1%)。

記憶體容量的問題也限制了大容量NVMe SSD的發展,為瞭解決記憶體問題,目前一種可行的方法是增大sector size。標準NVMe SSD的sector size為4KB,為了進一步增大NVMe SSD的容量,有些廠商已經開始採用16KB的sector size。16KB Sector size的普及應用,會加速大容量NVMe SSD的推廣。


3 影響NVMe SSD的性能因素


NVMe SSD 廠商Spec給出的性能非常完美,前面也給出了NVMe SSD和磁盤之間的性能對比,NVMe SSD的性能的確比磁盤高很多。但在實際應用過程中,NVMe SSD的性能可能沒有想象中的那麼好,並且看上去不是特別的穩定,找不到完美的規律。和磁盤介質相比,SSD的性能和很多因素相關,分析SSD的性能影響因素,首先需要大體瞭解SSD構成的主要部分。如下圖所示,其主要包括主機CPU、PCIe互連帶寬、SSD控制器及FTL軟體、後端NAND Flash帶寬、NAND Flash介質。影響SSD性能的主要因素可以分成硬體、軟體和客觀環境三大部分,具體分析如下。



1,硬體因素


a)    NAND Flash本身。不同型別的NAND Flash本身具有不同的性能,例如SLC的性能高於MLC,MLC的性能優於TLC。選擇不同的工藝、不同類別的NAND Flash,都會具有不同的性能。


b)    後端通道數(CE數量)及總線頻率。後端通道數決定了併發NAND Flash的數量,決定了併發能力。不同的SSD控制器支持不同數量的通道數,也決定了SSD的後端吞吐帶寬能力。NAND Flash Channel的總線頻率也決定了訪問Flash的性能。


c)    SSD控制器的處理能力。SSD控制器中會運行複雜的FTL(Flash Translation Layer)處理邏輯,將邏輯塊讀寫映射轉換成NAND Flash 讀寫請求。在大資料塊讀寫時,對處理器能力要求不是很高;在小資料塊讀寫時,對處理器能力要求極高,處理器能力很容易成為整個IO系統的性能瓶頸點。


d)    SSD控制器架構。通常SSD控制器採用SMP或者MPP兩種架構,早期的控制器通常採用MPP架構,多個小處理器通過內部高速總線進行互連,通過硬體訊息佇列進行通信。記憶體資源作為獨立的外設供所有的處理器進行共享。這種架構和基於訊息通信的分佈式系統類似。MPP架構的很大優勢在於性能,但是編程複雜度較高;SMP架構的性能可擴展性取決於軟體,編程簡單,和在x86平臺上編程相似。不同的控制器架構會影響到SSD的總體性能,在SSD設計時,會根據設計標的,選擇不同型別的SSD控制器。


e)    記憶體支持容量。為了追求高性能,SSD內部的映射資源表會常駐記憶體,映射表的記憶體占用大小是盤容量的0.1%,當記憶體容量不夠大時,會出現映射表換入換出的問題,影響到性能。


f)    PCIe的吞吐帶寬能力。PCIe前端帶寬體現了SSD的前端吞吐能力,目前NVMe SSD採用x4 lane的接入方式,上限帶寬為3GB/s,當後端NAND Flash帶寬和處理器能力足夠時,前端PCIe往往會成為性能瓶頸點。NAND Flash具有很高的讀性能,目前來看,SSD的讀性能在很大程度上受限於PCIe總線,因此需要快速推進PCIe4.0標準。


g)    溫度對性能造成影響。在NAND Flash全速運行的情況下,會產生較大的散熱功耗,當溫度高到一定程度時,系統將會處於不正常的工作狀態,為此,SSD內部做了控溫系統,通過溫度檢測系統來調整SSD性能,從而保證系統溫度維持在閾值之內。調整溫度會犧牲性能,本質上就是通過降低SSD性能來降溫。因此,當環境溫度過高時,會影響到SSD的性能,觸發SSD內部的溫度控制系統,調節SSD的性能。


h)    使用壽命對性能造成影響。NAND Flash在不斷擦除使用時,Flash的bit error會不斷上升,錯誤率的提升會影響到SSD的IO性能。


2、軟體因素


a)    資料佈局方式。資料佈局方法需要充分考慮NAND Flash中的併發單元,如何將IO操作轉換成NAND Flash的併發操作,這是資料佈局需要考慮的問題。例如,採用資料交錯的方式在多通道page上進行資料佈局,通過這種方式可以優化順序帶寬。


b)    垃圾回收/wear leveling調度方法。資料回收、wear leveling、data retention等操作會產生大量的NAND Flash後端流量,後端流量直接反應了SSD的寫放大繫數,也直接體現在後端帶寬的占用。垃圾回收等產生的流量也可以稱之為背景流量,背景流量會直接影響到前端用戶性能。因此需要對背景流量和用戶流量之間進行合理調度,使得用戶IO性能達到最佳。


c)    OP預留。為瞭解決壞塊、垃圾回收等問題,在SSD內部預留了一部分空閑資源,這些資源被稱之為OP(Overprovisioning)。OP越大,GC過程中平均搬移的資料會越少,背景流量會越小,因此,寫放大降低,用戶IO性能提升。反之,OP越小,性能會越低,寫放大會越大。在SSD容量較小的時代,為了提升SSD的使用壽命,往往OP都設置的比較大。


d)    Bit error處理影響性能。在SSD內部採用多種機制來處理NAND Flash所產生的Bit error。ECC糾錯、read retry、soft LDPC以及RAIN都是用來糾正bit翻轉導致的錯誤。當Bit錯誤率增加時,軟體處理的開銷越大,在bit控制在一定範圍之內,完全可以通過硬體進行糾正。一旦軟體參與到bit糾正的時候,會引入較大的性能開銷。


e)    FTL演算法。FTL演算法會影響到SSD性能,對於不同用途的SSD,FTL的設計與實現是完全不同的,企業級SSD為了追求高性能,通常採用Flat mapping的方式,採用大記憶體快取映射表;消費級SSD為了追求低成本,通常採用元資料換入換出的方式,並且採用pSLC+TLC的組合方式進行分層儲存,也可以採用主機端記憶體快取元資料信息,但是這些方式都會影響到性能。


f)    IO調度演算法。NAND Flash具有嚴重的性能不對稱性,Flash Erase和Program具有ms級延遲,Flash read的延遲在us級。因此,如何調度Erase、Program以及read是SSD後端設計需要考慮的問題。另外,前端IO以及背景IO之間的調度也是需要權衡考慮,通過IO調度可以達到最佳性能表現。在IO調度過程中,還需要利用NAND Flash的特性,例如Program Suspension,通過這些特性的利用,最優化SSD前端IO性能。


g)    驅動軟體。驅動軟體運行在主機端,通常分為內核態和用戶態兩大類,內核態驅動會消耗較多的CPU資源,存在頻繁背景關係切換、中斷處理,因此性能較低;用戶態驅動通常採用Polling IO處理樣式,去除了背景關係切換,可以充分提升CPU效率,提升整體IO性能。


h)    IO Pattern對性能產生影響。IO Pattern影響了SSD內部的GC資料佈局,間接影響了GC過程中的資料搬移量,決定了後端流量。當IO Pattern為全順序時,這種Pattern對SSD內部GC是最為友好的,寫放大接近於1,因此具有最好的性能;當IO Pattern為小塊隨機時,會產生較多的GC搬移資料量,因此性能大為下降。在實際應用中,需要通過本地檔案系統最優化IO Pattern,獲取最佳性能。


3、客觀因素


a)    使用時間越長會導致SSD性能變差。使用時間變長之後,SSD內部NAND Flash的磨損會加重,NAND Flash磨損變大之後會導致bit錯誤率提升。在SSD內部存在一套完整的bit錯誤恢復機制,由硬體和軟體兩大部分構成。當bit錯誤率達到一定程度之後,硬體機制將會失效。硬體機制失效之後,需要通過軟體(Firmware)的方式恢復翻轉的bit,軟體恢復將會帶來較大的延遲開銷,因此會影響到SSD對外表現的性能。在有些情況下,如果一塊SSD在掉電情況下放置一段時間之後,也可能會導致性能變差,原因在於SSD內部NAND Flash中儲存電荷的漏電,放置一段時間之後導致bit錯誤率增加,從而影響性能。SSD的性能和時間相關,本質上還是與NAND Flash的比特錯誤率相關。


b)    環境溫度也會對性能造成影響。為了控制SSD溫度不能超過上限值,在SSD內部設計有一套溫度負反饋機制,該機制通過檢測的溫度對NAND Flash後端帶寬進行控制,達到降低溫度的效果。如果一旦溫度負反饋機制開始工作,那麼NAND Flash後端帶寬將會受到限制,從而影響前端應用IO的性能。


下麵從軟體的角度出發,重點闡述GC以及IO Pattern對SSD性能的影響。


3.1 GC對性能的影響


SSD內部有一個非常厚重的軟體層,該軟體層用來解決NAND Flash的問題,採用log-structured的方式記錄資料。Log-structured方式引入了GC的問題,對於前端業務來講,GC流量就是背景噪聲。GC流量不是時時刻刻存在的,因此,SSD對外體現性能大幅度波動。當SSD為空盤時,性能會非常好,為最佳性能;當SSD被用過一段時間之後,性能會大幅降低。其中GC起到了很重要的作用。企業級SSD在發佈Spec的時候,都會發佈SSD盤的穩態性能。在性能測試的時候,需要對盤進行老化預處理。通常預處理的方法是順序寫滿盤,然後再隨機兩遍寫盤,預處理完成之後,再對盤進行隨機讀寫測試,得到Spec中定義的值。穩態值基本可以認為是盤的下限性能。



上圖所示是多個廠商的盤在空盤和穩態情況下的性能對比,由此可見穩態情況和空盤情況下的性能差距很大。在穩態情況下,SSD內部的GC會全速運行,會占用較多的NAND Flash後端帶寬。背景流量和前端資料流的比例也就體現了SSD盤的寫放大繫數,寫放大繫數越大,背景流量占用帶寬越多,SSD對外體現的前端性能也就越差。寫放大繫數很多因素相關,例如OP、應用IO Pattern等。如果應用IO Pattern比較好,那麼可以降低寫放大繫數,背景噪聲流就會減少,前端業務的性能會提升。例如,在SSD完全順序寫入的情況下,寫放大繫數可以接近於1,此時GC產生的資料流很少,背景流量基本沒有,後端帶寬基本被業務資料流占用,因此對外體現的性能會很好。


GC是影響性能的重要因素,除了影響性能之外,GC會增大寫放大,對SSD的使用壽命產生影響。從軟體層面的角度考慮,可以通過優化應用IO Pattern的方式優化SSD內部GC,從而進一步提升SSD的性能,優化使用壽命。對於下一代更為廉價的QLC SSD介質,就需要採用這種優化思路,否則無法很好的滿足實際業務的應用需求。


3.2 IO Pattern對性能的影響


IO Pattern會對SSD的性能產生嚴重影響,主要表現在如下幾個方面:


1,    不同的IO Pattern會產生不同的寫放大繫數,不同的寫放大繫數占用後端NAND Flash帶寬不同。當前端應用對SSD採用完全順序的方式進行寫入時,此時是最佳的IO Pattern,對於SSD而言寫放大繫數接近1,SSD內部的背景流量基本可以忽略,前端性能達到最佳。在實際應用中,很難採用這種完全順序的資料寫模型,但可以通過優化逼近順序寫入。


2,    不同請求大小的IO之間會產生干擾;讀寫請求之間會產生干擾。小請求會受到大請求的干擾,從而導致小請求的延遲增加,這個比較容易理解,在HDD上同樣會存在這種情況。由於NAND Flash介質存在嚴重的讀寫不對稱性,因此讀寫請求之間也會互相干擾,尤其是寫請求對讀請求產生嚴重的性能影響。


3.2.1 順序寫入Pattern對SSD性能優化的奧秘


在針對閃存系統的設計中,需要考慮IO Pattern對性能產生的影響,通過軟體的優化來最優化SSD的使用。在實際應用中完全順序寫入的IO Pattern基本上是不存在的,除非用作順序寫入的日誌設備。對於順序寫入優化性能這個結論,需要從SSD內部實現來深入理解,知道根源之後,可以採用合理的方式來逼近順序寫入的樣式,從而最優化SSD的性能。


SSD內部採用log-structured的資料記錄樣式,併發寫入的IO資料按照時間順序匯聚成大資料塊,合併形成的大資料塊以Page stripe的方式寫入NAND Flash。多個Page stripe會被寫入同一個GC單元(Chunk or Superblock),當一個GC單元被寫完成之後,該GC單元進入sealed樣式(只讀),分配新的GC單元寫新的資料。在這種樣式下,如果多個業務的資料流併發隨機的往SSD中寫入資料,那麼多個應用的資料就會交錯在一起被儲存到同一個GC單元中。如下圖所示,不同應用的資料生命周期不同,當需要回收一個GC單元的時候,會存在大量資料的遷移,這些遷移的資料就會形成寫放大,影響性能和使用壽命。



不同應用的資料交錯儲存在同一個GC單元,本質上就是不同冷熱程度的資料交錯儲存的問題。從GC的角度來講,相同冷熱程度的資料儲存在同一個GC單元上是最佳的,為此三星推出了Multi-stream SSD,該SSD就允許不同應用的資料儲存到不同的Stream單元(GC單元),從而提升GC效率,降低寫放大。Multi-stream是一種顯式的設計方式,需要更改SSD接口以及應用程式。從IO Pattern的角度考慮,可以通過順序大塊的方式也可以逼近類似的效果。

假設操作SSD只存在一個執行緒,不同的應用都採用大資料塊的方式寫入資料,那麼在一個時間片段內只存在一個應用的資料往SSD中寫入資料,那麼在一個GC單元記憶體儲的資料會變得有序和規則。如下圖所示,採用上述方法之後,一個GC單元記憶體儲的資料將會變得冷熱均勻。在GC過程中會大大減少資料的搬移,從而減少背景流量。



在實際應用中,上述IO Pattern很難產生,主要是應用很難產生非常大粒度的請求。為此在儲存系統設計過程中,可以引入Optane高性能儲存介質作為SSD的寫快取。前端不同業務的寫請求首先寫到Optane持久化介質中,在Optane持久化介質中聚合形成大資料塊。一旦聚合形成大資料塊之後,再寫入SSD,通過這種方式可以最大程度的逼近SSD順序寫入過程,提升SSD的性能和使用壽命。


3.2.2 讀寫衝突Pattern對性能的影響


如下圖所示,NAND Flash介質具有很強的讀寫不對稱性。Block Erase和Page Program的延遲會遠遠高於Page Read所耗費的時間。那麼在這種情況下,如果read請求在同一個Flash Channel上和Erase、Program操作衝突,那麼read操作將會被Erase/program操作影響。這是在讀寫混合情況下,讀性能會受到影響的重要因素。



在實際應用過程中,經常會發現應用的測試結果和SSD Spec對不上,會比Spec給出的值要來的低。Spec給出的值通常為純讀或者純寫情況下的性能指標,在讀寫混合的場景下,性能表現和Spec給出的值就會存在非常大的出入。


對於不同的SSD,通過測試可以發現在讀寫混合情況下的性能表現差距會比較大。在SSD處於穩態條件下,應用隨機讀的情況下,如果引入一個壓力不是很大的順序寫,那麼會發現不同SSD的抗干擾能力是不同的。有些SSD在寫干擾的情況下,讀性能會急劇下降,延遲快速上升,QoS性能得不到保證。下圖是兩個SSD在相同情況下的測試結果,從結果來看,有些SSD的抗寫干擾能力比較強,讀性能不會急劇下降。



為什麼有些SSD會具備比較強的抗寫干擾能力呢?其中的奧秘就在於SSD內部的IO調度器。IO調度器會對write、read 和Erase請求進行調度處理,該調度器演算法的不同就會表現出不同的抗干擾能力。目前很多NAND Flash可以支持Program/Erase Suspension的功能,在IO調度處理的過程中,為了提升讀性能,降低讀請求延遲,可以採用Suspension命令對Program/Erase命令暫停,對read請求優先調度處理。


讀寫衝突是SSD內部影響IO QoS的重要因素。在SSD內部通過IO調度器的優化可以提升SSD性能的QoS能力,但是還是無法與儲存軟體結合來協同優化QoS。為了達到最佳的SSD性能QoS,需要關註Openchannel技術。Openchannel其實只是一種軟硬體層次劃分的方法,通常來講,SSD內部的邏輯可以劃分為面向NAND資源的物理資源管理層以及面向資料佈局的資源映射層。物理資源管理由於和NAND Flash密切相關,因此可以放到SSD內部。

傳統的NVMe SSD需要對外暴露標準的塊設備接口,因此需要在SSD內部實現資源映射層。從端至端的角度來看,資源映射層可以與儲存軟體層結合起來,為此將資源映射層從SSD內部剝離出來,集成至儲存軟體層。一旦資源映射層從SSD內部剝離之後,需要定義一個新的SSD接口,其中的一種接口方式就是Openchannel。


盤古分佈式儲存針對SSD QoS問題進行了大量研究,提出了Object SSD的概念,Object SSD也是一種新的SSD接口方式,其採用物件方式對SSD進行讀寫刪操作,每個物件採用Append write操作方式。這種接口方式可以很好的與分佈式儲存無縫結合。採用Object SSD之後,SSD內部的大量工作被簡化,IO的調度會更加靈活,儲存軟體與SSD協同配合,達到IO性能的最優化,以及QoS的最大化。



4 SSD寫性能分析模型


SSD內部的資料流分成兩大類,一類為前端用戶資料流;另一類為內部背景資料流。前端用戶資料流和背景資料流會匯聚成NAND Flash後端流量。當背景資料流不存在時,NAND Flash帶寬會被用戶資料流全部占據,此時SSD對外表現的性能達到最佳。當SSD具有較大寫放大時,會產生很大的背景資料流,背景流會搶占NAND Flash帶寬,導致前端用戶IO性能降低。為了穩定前端IO性能,在SSD內部的調度器會均衡前端和背景流量,保證前端性能的一致性。背景流量的占比反應了SSD的寫放大繫數,因此,站在NAND Flash帶寬占用的角度可以分析SSD在穩態情況下的性能。


在此,假設寫放大繫數為WA,順序寫情況下的總帶寬數為B,用戶寫入流量(隨機寫入流量)為U。那麼,由於GC寫放大造成的背景流量為:(WA – 1)* U
寫放大流量為一讀一寫,都會占用帶寬,因此,總帶寬可以描述為:


2  (WA – 1)  U + U = B
因此,可以得到:
U = B / (2(WA – 1) + 1) = B / (2  WA – 1)
上述公式表述了前端用戶流量和NAND Flash總帶寬、寫放大繫數之間的關係。


根據Spec,Intel P4500的順序寫帶寬為1.9GB/s,按照上述公式,在隨機訪問樣式下的帶寬為: 1900 / (2 * 4 – 1) = 270MB/s,IOPS為67K,根據該公式推導的結果和Spec給出的結果相同。


下圖是Intel P4500和Samsung PM963隨機寫延遲和推導公式之間的對比。結果非常吻合。



由此可以推出,隨機寫性能由SSD內部後端帶寬以及寫放大繫數來決定。因此,從儲存軟體的角度出發,我們可以通過優化IO Pattern的方式減小寫放大繫數,從而可以提升SSD的隨機寫性能。


5 小結


閃存儲存技術正在飛速發展,閃存介質、SSD控制器、儲存系統軟體、儲存硬體平臺都在圍繞閃存日新月異的發展。閃存給資料儲存帶來的價值顯而易見,資料中心閃存化是重要發展趨勢。NVMe SSD性能受到很多因素的影響,在軟體層面可以通過IO Pattern優化SSD的性能,使得整體儲存系統的性能達到最佳。

文章來源:雲棲社區

更多技術已經整理成電子書

十一期間優惠活動相詳細信息如下

(如滿足優惠條件下單可聯繫修改價格)


溫馨提示:

請搜索“ICT_Architect”“掃一掃”二維碼關註公眾號,點擊原文鏈接獲取更多電子書詳情

求知若渴, 虛心若愚

赞(0)

分享創造快樂