SaaS,SDN,PCIE,資料中心
時脈產生器加強奧援 資料中心頻寬全面提升
為了滿足目前和未來需求,服務供應商、資料中心營運商和Web服務公司正在迅速轉型到軟體定義網路(SDN)模式,進而將軟體和服務從基礎運算、交換和儲存硬體中轉移出來。服務供應商和資料中心營運商正在採用新的硬體技術,支援業界向SDN轉型,同時提高資料中心之間和資料中心內的速度和頻寬。伺服器、儲存系統、葉脊交換機(Spine/Leaf Switch)、聚合路由器和光學轉發器都在經歷劇烈的技術變革,這包括採用新的100G/200G/400G光傳輸技術、用於加速器資料匯流排的更高速PCIe Gen4和快取互連一致性測試晶片(CCIX)、基於NVM Express(NVMe)的固態儲存、特別針對機器學習和人工智慧而最佳化的處理技術,以及新的記憶體技術等等,以滿足對於高頻寬網路不斷成長的需求。
整個資料中心硬體頻寬升級的共同之處在於參考時脈對於時脈要求越來越嚴格。現在,系統架構者在硬體設計時比以往更注重時脈和時脈樹設計。
光纖連結資料中心
資料中心透過高速光纖將相互間以及底層核心和匯聚電信網路連接在一起。相干光學是在資料中心聚合交換機和光轉發器中實現的最新技術,其能適應不斷增加的資訊量,光纖資料速度能夠從目前的100G升級到未來的600G。整體來說,相干光學技術結合了先進的高速數位訊號處理,和高速資料轉換器,來調變在每個發射器和接收器之間傳輸光的幅度和相位,因此能夠透過現有光纖網路發送更多資料。
發射器和接收器中的資料轉換器通常需要超過1.7GHz的超低抖動、高頻參考時脈。此外,參考時脈需要支援數位訊號處理。起初100G相干光線路卡和模組設計使用多個時脈IC和振盪器來滿足這些時脈要求,但這需要大量的電路板空間和成本。
葉脊交換機擔分配流量要責
葉脊交換機用於建置伺服器機架和存放裝置之間的連接網路,在整個資料中心均勻分配流量。如圖1所示,葉脊交換機位於每個機架的頂部,提供到伺服器的下游連接和到網路中每個脊交換機的上游連接。
圖1 葉脊網路架構
下一代葉脊交換機設計正採用交換機SoC,其包括28G和56G串列/解串器(SerDes),支援頻寬可從10GbE遷移到25/40GbE的下行埠和遷移到100GbE的上行埠。這些增加的速度需要參考時脈抖動性能有顯著的提升,56G SerDes在12kHz~20MHz積分頻寬下最大規格低至150fs rms。在這些設計中使用的FPGA、CPU、記憶體、CPLD和電路板管理控制器(BMC)也需要額外的系統時脈。
目前已有廠商針對該需求推出任意頻率時脈產生器,以及任意頻率抖動衰減時脈可滿足相關應用的超低抖動性能要求,同時在單晶片時脈解決方案中提供多達10路獨特頻率輸出,使其成為在100GbE設計中結合28G和56G SerDes和同步或非同步葉脊交換機設計的理想選擇。
PCIe為伺服器/儲存主要匯流排
現今資料中心的大多數伺服器和儲存處理器均採用Intel x86架構。基於IBM Power和ARM架構的新品正在不斷推出。相較於x86平台,基於Power和ARM的平台通常需要為處理器和其他I/O功能提供額外的時脈。無論CPU偏好如何,每種架構和平台都會使用高速資料匯流排在CPU、記憶體、存放裝置和擴充卡之間傳輸資料。
PCIe是伺服器中使用的主要資料匯流排,這是因為其實現成本低、頻寬高、大多數CPU、FPGA、SoC和ASIC都支援的緣故。PCI-SIG最近推出了第四代PCIe規範,將資料速率從8Gbps提高至16Gbps。
除了在伺服器主機板上使用之外,隨著固態硬碟(SSD)在硬碟媒體上受到青睞,PCIe在資料中心儲存應用中也日益廣泛應用。PCIe資料匯流排的擴展使用正驅動整個機架上各組件對於更多、更高精度PCIe參考時脈的需求,從伺服器上的CPU到每個SSD。固態儲存使用NVMe協定,而不是傳統硬碟儲存設計中使用的SAS或SATA串列協定。基於NVMe的SSD透過標準PCIe連接器連接到儲存系統,這意味著所有基於NVMe的SSD都需要PCIe參考時脈。快閃記憶體陣列儲存系統通常使用FPGA和客製化的控制器ASIC來管理伺服器和SSD之間的通訊流量,每個SSD都需要自己的高性能參考時脈。
雖然預計硬碟儲存將是未來幾年主流的資料中心儲存介質,但快閃記憶體陣列儲存系統的部署正在迅速成長。產業分析師預計,在2018~2020年間,快閃記憶體陣列儲存採用率將急劇上升,而這主要由Web服務資料中心驅動。廠商亦推出新款低抖動時脈產生器系列專門滿足x86、Power、ARM和快閃記憶體陣列儲存系統提出的時脈樹要求。如Silicon Labs旗下的Si5332任意頻率時脈產生器系列能以不到230 fs rms的抖動性能為快閃記憶體陣列儲存系統中的PCIe端點、FPGA、處理器和其他SoC/ASIC元件提供多達12路時脈輸出。該元件能夠產生分數和整數相關時脈頻率、展頻調變時脈,且能實現低功耗和頻率控制,而可將儲存系統設計中所需的所有時脈整合到單個IC中,節省了印刷電路板(PCB)面積和系統成本。
加速卡擴充伺服器功能
新資料中心設備的設計週期通常為兩年。為了更快速的安排新軟體和Web服務產品發布,資料中心架構者已開始開發專門的處理器擴充卡,可以針對網路搜尋、人工智慧或機器學習提供最佳的處理能力替代。擴充卡透過PCIe連接器插入標準伺服器主機板,立即向現有伺服器提供擴充功能。擴充卡的設計週期可能短至六個月,這使得營運商和網路公司能夠在資料中心內增加功能,且毋須使用新伺服器重新建構整個資料中心。
過去幾年,使用FPGA、圖形處理單元(GPU)和客製化ASIC的資料中心伺服器已部署了許多類型的擴充卡。隨著針對特定應用而優化的新型GPU、FPGA和SoC產品的上市,預計此趨勢將會加速。除了PCIe之外,新的替代協定也開始被採用,PCIe Gen4、CCIX、NVLink、OpenCAPI和GenZ正在CPU、記憶體和加速卡之間實現更快的資料傳輸,可實現16~32Gbps的資料速率。考量到這些高速資料速率,參考時脈必須非常精準,以確保穩健的訊號完整性和最小化誤碼損失。
資料中心在我們生活的許多方面正在變得越來越重要,使得資訊能儲存在廣泛的服務(例如雲端服務)和新興的人工智慧系統之中。為了繼續支援運行在雲端架構上的創新和應用的快速發展,架構者和硬體設計人員必須繼續擴大資料中心內的伺服器、存放裝置和交換式網路中的頻寬。在資料中心互連和葉脊交換機中遷移到100GbE、在伺服器和擴充卡中採用PCIe Gen4、在固態儲存中採用NVMe,這都是為滿足更高頻寬需求而採用的新技術。為了確保達到這些技術的最大潛力,系統設計人員必須更加重視時脈樹設計,並在整個資料中心使用超低抖動參考時脈。
(本文作者為Silicon Labs時脈產品行銷經理)