歡迎光臨
每天分享高質量文章

詳解資料中心的增強型以太網

      增強以太網被應用於資料中心通信的催化劑是FCoE,然而FCoE是FC搭載以太網粘合劑。以太網作為一種儘力服務的絡模型,繁忙時可能發生丟包或傳輸故障,由於其公共網不可靠的傳輸特性,因此不適合在儲存信息過程中使用。

 

所謂增強型以太網,並不是在傳統以太網基礎上提出新的報文封裝格式,而是由IEEE資料中心網橋(Data Center Bridge,簡稱DCB)工作組提出一系列以太網擴展協議來增強傳統以太網傳輸的可靠性。增強型以太網主要有兩個特征:

 

  • 第一個為在以太網基礎上進行擴展,支持將下麵三類網絡整合起來。

  • 第二個為支持不丟包傳輸,從而可以支持那些對傳輸可靠性要求極高的服務。

 

在DCE/CEE中,Fibre Channel幀將映射到以太網上來進行承載(FCoE標準)。傳統的Fibre Channel提供流控機制,保證無丟包,並且傳統的Fibre Channel對於時延的增加/變化或者抖動非常敏感。而傳統的以太網絡可以容忍一定的丟包和時延變化/抖動。所以,IEEE定義了一系列標準,規範DCE/CEE對於傳統以太網增強,主要包括PFC、ETS、DCBX和CN。

      FCoE起源於Brocade、IBM和HP提議一個名為FCoCEE (FC over Converged Enhanced Ethernet)協議標準,後來正式改名為FCoE;分別有Cisco、EMC、Emulex、HDS、HP、IBM、Intel、LSI、Marvell、Mellanox、Neoscale、Nuova、PMC-Sierra、Qlogic、Sun和Vitesse共16家公司積极參与。

 

  • T11.3-FC-BB-5完成於2009年6月,標準定型。
  • T11.3-FC-BB-6完成於2009年8月,規定FCoE點到點,端到端模型。

     

     

      FC-BB-5版本必須要FCF(FC Forwarder可以理解為FCoE交換機)存在。我們原來採用FC的時候,主機的HBA卡可以直接連接到儲存控制器的FC口上,支持點對點的連接。

 

      但FCoE必須通過FCoE交換機(FCF),中間的FSB是為了擴展端口用的,不是必須的。這個FSB是支持FIP(FCoE Initialization Protocol) Snooping的二層設備。FC-BB-6標準後,我們可以點對點組網。當然,也可以支持VN2VN的組網,中間用便宜的FDF設備連接。

 

什麼是FCoE

 

      FCoE(Fibre Channel over Ethernet)是基於以太網光纖通道協議;FCoE是將FC的架構映射到以太網上,基於以太網的成熟、演進快優勢,剋服FC協議兼容性問題,減少資料中心接口卡和電纜網絡設備,FCoE包容FC,保護原有投資。

 

      FCoE就是將FC的內容封裝在以太網幀里,讓其在以太網中傳輸。這個以太網(DCE)是無損的以太網,其協議是基於802.1Q作了補充,從而形成的802.1Qxx或802.3

 

增強型以太網(CEE/DCE)

 

      FCoE協議和標準的FC一樣,要求底層的物理傳輸時無損失的、無損的以太網保證了FCoE無損失的傳輸。因此廠商已經開發了針對以太網標準的擴展器,特別是針對無損10Gb以太網的速度和資料中心架構。

 

      這些資料中心架構,Brocade等廠商稱之為CEE(融合型增強以太網),思科稱之為DCE(資料中心以太網)。我們統稱為增強型以太網。FCoE需要增強型以太網。

 

FCoE為什麼需要CEE

 

      普通以太網都不支持FCoE,因為普通的以太網採用擁塞丟掉重傳的機制,但FC說話不能中斷,否則吞吞吐吐聽不清。因此,必須改造,採用新的流控機制(如PFC、ETS和CN,統稱DCB)來保證不丟包,這種改造好的以太網也叫增強以太網或者叫無損(Lossless)以太網,現在也叫DCB以太網。這樣的FCoE交換機成本好像並不比FC交換機便宜多少。


FCoE的融合帶來佈線的方便主要體現在服務器側。一般資料中心都是大量的服務器,少量的儲存。因此,服務器採用CNA網卡連接到FCoE交換機上,每台服務器節省一半的連線。一般的FCoE交換機(FCF)也支持FC接口,因此儲存採用FC接口連接到FCoE交換機上就可以了。不需要端到端的FCoE連接。因此,儲存支持FCoE不迫切。

 

  1. 傳統以太網在發生阻塞時會丟包
  2. 傳統以太網並不關心是否丟包了(除非上層協議手動跟蹤和重傳,如TCP)
  3. 以太網是基於FIFO的機制起作用(FIFO),儲存QoS問題。

 

 

 

      增強以太網要支撐FCoE的基礎特性,必須要包括或具備以下內容。

 

  1. 全雙工
  2. 順序投遞
  3. Jumbo幀,每幀最小2.5KB的承載資料

 

      增強以太網的特性如下,在實際增強以太網產品中,並非這些特性都要實現

 

      PFC(基於優先級的流控)Priority-based Flow Control (PFC、IEEE 802.1Qbb),按照流量型別優先級啟用Pause幀機制

 

傳統的以太網

 

增強的以太網

 

      PFC基於業務型別優先級啟用Pause幀機制,多種型別流量共享同一條物理鏈路,某一型別的業務引起網絡擁塞將被暫停,確保型別業務仍然繼續,不會導致一種流量飽和其他型別流量饑餓導致業務中斷的現象

 

      如圖傳統的以太網如果業務阻塞,將會導致整個鏈路都阻塞了,其他業務不能在這條鏈路上運行,而增強的以太網將同一物理鏈路根據流量型別分割為8個各自完全獨立的虛擬通道,根據用戶定義優先級分別在每個虛擬通道上啟動Pause幀機制,如果一條業務阻塞中斷,可以在同一物理鏈路上運行其他業務。

 

      ETS(增強的傳輸選擇) Enhanced Transmission Selection (ETS,IEEE 802.1 Qaz),ETS為PFC創建的各虛擬鏈路進行最佳的帶寬分配管理。ETS在各虛擬鏈路上增加帶寬管理

      如圖虛擬鏈路3指派的優先級最高,因此IP流量占用了剩餘的帶寬,併進一步占用了虛擬鏈路1的帶寬。

 

      DCBX(資料中心橋交換協議)是一個發現交換協議,在交換機和端點設備之間自動交換以太網引數和功能發現,包括檢測錯誤配置,配置遠端鏈路的功能。

      如圖以太網中的交換機會自動的與附近的交換機或設備進行一些引數的交換。發現以太網中的引數配置等信息。

 

      CN(擁塞通知)Congestion notification (IEEE 802.1 Qau),擁塞信息通知到該節點邊沿,限制帶寬。2層次流量管理系統通過通知速率限制將擁塞推動到邊沿網絡。

 

      因為越到網絡中心即圖中集成級交換機的網絡壓力就越大,當網絡中某一交換機的網絡要發生擁塞時,交換機會向集成級交換機發起CN,集成級交換機通過發送控制幀到2個訪問級交換機,要求他們調整他們的流量。這種方法保證了核心網絡的完整性,將流控操作影響到引起擁塞的部分網絡,更逼近擁塞源頭

 

FCoE標準協議模型

 

      FCoE協議模型保留了FC-4(高級協議映射層),FC-3(通用服務層),FC-2(FC幀);FC-0(物理接口)和FC-1(鏈路層)由以太網的物理層和MAC層替換;FC和以太網層之間通過FCoE映射。

      在FC網絡端,FC結點和FC交換機通過FC端口連接,FC連接包括PN2PF(結點與交換機)和PE2PE(交換機與交換機)

 

      在FCoE網絡(即以太網)端,FCoE結點(ENODE)和FCoE交換機(FCF)在無損以太網上通訊是通過以太網的端口。通過將FC幀封裝在以太網幀上的FCoE虛擬連接代替了FC的物理連接。FCoE支持VN2VN(ENODE與ENODE)、VN2VF(ENODE與FCF)和VE2VE(FCF與FCF)

 

 

    上圖可知,FC協議前端傳輸是通過FC網絡,速率在1、2、4、8Gbps。FCoE前端是通過增強的以太網傳輸,速率是10Gpbs;FC幀封裝SCSI,再有FCoE封裝FC幀,最後再被以太網封裝就成了以太網的幀,這樣就可以在以太網上傳輸了。FCoE是基於DCB也就是增強的以太網進行傳輸的,沒有TCP/IP開銷

 

  • FCoE網絡中的端口和FC網絡類似,只是叫法不同。
  • N_Ports(HBA和儲存FC前端口)在FCoE中叫做VN_Ports(CNA和儲存FCoE端口)
  • F_Ports(Fabric端口)在FCoE中叫做VF_Ports(FCoE交換機的端口)
  • E_Ports(FC交換機到FC交換機)在FCoE中叫做VE_Ports(FCoE以太網交換機互聯的端口)。

 

FCoE組網型別

 

      ENODEH1、ENODE H2和FCF A、FCF B都有一條與無損以太網的物理連接,每個ENODE可能會實體多個VN端口與FCF實體的VF端口建立FCoE虛擬連接

VN2VF網絡結構圖

 

      如上圖紅色虛線;這樣,通過P2P VN2VF的虛擬連接將無損以太網簡化成了FC協議可以在上面操作的VN2VF樣式。

 

      FCF A、B、C都有一條與無損以太網的物理連接,每個FCF都會實體多個VE端口與其它FCF的VE端口建立FCoE的虛擬連接

VE2VE網絡結構圖

 

      如上圖紅色虛線。這樣,通過P2P的VE2VE虛擬連接將無損以太網簡化成了FC協議可以在上面操作的VE2VE樣式。

 

      ENODEH1,H2,H3通過一條物理連接與無損以太網相連,每個ENODE會實體一個VN端口與其他ENODE實體的VN端口建立FCoE虛擬連接。

VN2VN網絡結構圖

 

     如上圖綠色虛線。這樣通過P2P的VN2VN虛擬連接將無損以太網簡化成了FC的P2P協議可以在上面操作的VN2VN樣式。中間用便宜的FDF設備連接。

 

      隨著軟體定義和雲計算全IP時代的到來,FCoE已經成為過去時,增強以太網的時代才剛剛開始。傳統業務結構多種技術之間的孤立性(LAN與SAN),資料中心服務器總是提供多個對外I/O接口,造成了大量的線纜、能耗和費用。I/O整合的思路使配接器、交換機或儲存系統使用相同的以太網物理基礎實施來傳送特性差異較大流量。

 

IO整合後多個網絡流量共享同一條物理鏈路,建設統一融合的資料中心以太網(DCE)是資料中心網絡的發展趨勢。資料中心以太網也稱為融合增強型以太網(Converged Enhanced Ethernet,CEE)。

赞(0)

分享創造快樂