受到產業轉型、智慧型終端裝置、雲端服務及物聯網(IoT)普及率增加影響,全球網路資料中心流量近年來一直保持高速成長。在2018年,更能看到許多國際大廠如火如荼規畫興建新廠房,此一趨勢帶動了伺服器周邊零組件需求大增,其中,高速傳輸介面的發展更是備受注目。
雲端/邊緣同時驅動 資料中心蓬勃發展中
近年來,各大網路業者皆投入大量資金在建設超大型資料中心(Hyperscale Data Center),市調機構IDC估計2015年~2020年期間,資料中心市場將以每年5~10%的速度擴張。
拓墣產業研究院表示,數據資料的重要性已帶動企業對於數位轉型的龐大需求,但大量數據卻為既有資訊系統架構帶來沉重負擔。從雲端儲存、傳輸到運算,全面翻新企業的營運思維,造就了雲端廠商在近幾年的亮眼成績,以亞馬遜(Amazon)、微軟(Microsoft)、谷哥(Google)、IBM、阿里雲表現最為突出。
然而,不僅是超大型資料中心的發展引人注目,5G、人工智慧(AI)、物聯網等新興技術受到重視,以及各種終端應用全面智慧化的趨勢,邊緣運算概念所牽涉到的小型資料中心市場同樣不容小覷。DRAMeXchange資深分析師劉家豪便指出,未來隨著資料中心建置的普及,以及2020年之後5G的落實,針對邊緣運算的微型伺服器應用(Micro Server)將會在未來3~5年顯著成長,帶動相關零組件與記憶體的使用量明顯增加。
PCIe Gen5 Base Spec測試規範將就位
PCI-SIG在2010年發布PCI Express(PCIe) Gen3版本,並在市場上應用多年後,在2017年才終於推出了PCIe Gen4版本;並且,預計將在2019年8月完成PCIe Gen4 1.0版本制定。與此同時,PCI-SIG已開始積極投入PCIe Gen5的規範制定,並預計在2019年完成Gen5 Base Spec測試規範,滿足晶片層的量測需求。
PCIe Gen3傳輸效率為8GTps,PCIe Gen4則提高到16GTps,能滿足大量資料的傳輸需求,將於2019年制定完成的PCIe Gen5則會將傳輸速率進一步拉升,到達32GTps。而帶動這波介面速率升級的關鍵驅動力,就是資料中心廣泛建置所帶來的高速傳輸需求。Cadence亞太區資深應用工程經理李志勇(圖1)認為,目前PCIe Gen4甫起步,要再過一段時間才會漸漸看到商用產品出現,設備的汰舊換新亦是一漫長的過程,因此短期之內在伺服器市場將會看到PCIe Gen3與Gen4規格並存。

PCIe Gen5晶片2021量產
在未來PCIe介面的進化過程將會比以往更為快速。賽靈思PCIe與儲存解決方案資深產品經理Rakesh Cheerla(圖2)認為,由於處理器、PCIe交換器、繪圖處理器、張量處理器、乙太網路(Ethernet)NIC網卡以及FPGA等各大產品供應商都將推出PCIe Gen4晶片,因此估計資料中心的各種高效能應用將於2019年到2020年快速轉移至PCIe Gen4。

PCIe Gen4除了讓處理器、PCIe交換器、乙太網路NIC網卡以及NVMe固態硬碟(SSD)之間的系統頻寬加倍,更針對伺服器、連網,以及儲存基礎設施之間的關鍵資料傳輸通道提供急需的效能提升。對於許多應用而言,系統效能取決於PCIe系統匯流排,因此PCIe Gen4能讓許多資料中心應用得到加倍的系統效能。
所有資料中心市場的一線晶片供應商都將更新PCIe Gen5的晶片藍圖,Cheerla預計2021年就會有晶片開始量產。而資料中心與企業市場應會是率先採用PCIe Gen5的先驅。資料中心內各種最高效能的應用都需要PCIe Gen5的資料傳輸能力,因此運算、儲存及網路等伺服器都將在晶片開始量產後立即採用PCIe Gen5。
PCIe Gen5與PCIe Gen4將於資料中心的許多系統插槽上並存數年的時間,藉以滿足成本與性能方面的不同需求。安立知(Anritsu)業務暨技術支援部門專案副理王榆淙則分析,PCIe Gen3與Gen4的主要需求來源是消費電子市場,然而由於資料中心的發展,提供了許多B2B的商業模式;正由於在PCIe Gen4與Gen5的普及牽涉到商業決策而非消費電子的民生需求,因此推廣速度勢必將會比Gen3快上許多。
CCIX促PCIe Gen5加速到位
另一方面,是德科技(Keysight)應用工程部資深專案經理劉宗琪(圖3)認為,另一項促使PCI-SIG在這麼短時間內推出PCIe Gen5規格的原因,是來自於CCIX(Cache Coherent Interconnect for Accelerators)介面的威脅。

自2016年起成立的CCIX聯盟,正企圖推動統一的標準,並創造出頻寬更高、延遲更低的介面標準。CCIX最大的優勢在於該標準是建立於PCIe規範的基礎之上,因此,CCIX的一致性協議幾乎不需要修改便能通過PCIe鏈路傳遞,與PCIe規範高度相容;而且傳輸速度還高達25GTps。
然而,根據TrendForce記憶體儲存研究的調查指出,主流伺服器晶片市場在2018年仍由英特爾(Intel)x86解決方案主宰,出貨占比達97%。伺服器晶片領導廠商仍為英特爾與超微(AMD),在大型網路資料中心應用領域,英特爾x86架構的伺服器解決方案因產品定位較完善,使用規模仍居市場之冠。
另一方面,英特爾又是PCIe介面的主要推動者,完整的PCIe規格依然掌握在該主導廠商手中。若是主導廠商沒有放行或是與之配合合作,CCIX恐怕也難以普及。由此可見,在資料中心應用領域,恐怕難以在短時間內看到CCIX介面的市占比例大幅上升。
邊緣帶動異質運算需求 CCIX/PCIe相輔拓商機
綜上所述,不免會將CCIX與PCIe Gen4與Gen5的傳輸效能互相比較,將CCIX與PCIe兩大陣營視為競爭對手。然而Arm資深產品經理Jeff Defilippi認為,CCIX是一個基於PCIe協定延伸而生的通訊協定,對於Arm而言,會將CCIX視為一個與PCIe互補的通訊協定,而非競爭者。
賽靈思有線IP行銷部門經理Amy Chang指出,由於摩爾定律腳步大幅放緩以及「通用型(One Size Fits All)」伺服器CPU的價值下滑,在過去幾年也能觀察到各界開始快速採用異質運算解決方案。為趕上需求成長的腳步,業界目前採用專業應用加速器,來處理包括機器學習、人工智慧、視訊處理、分析以及其他巨量資料的作業負載。在新興的應用之中,出現了越來越多特殊的設備,像是TPU、GPU、FPGA的卸載(Offload)應用,CCIX可充分運用既有的伺服器互連基礎設施,還提供更高的頻寬、更低的延遲,以及共用快取記憶體的資料同步性。這不僅大幅提升加速器的實用性以及資料中心平台的整體效能與效率,亦能降低切入現有伺服器系統的門檻,以及改善加速系統的總體擁有成本(TCO)。
物聯網、機器學習等等新應用的興起,驅動了許多運算與資料處理的需求,該需求為資料中心產業鏈帶來了許多機會,同時也帶來了挑戰。未來在應用領域中將以PCIe Gen4為主流介面,而CCIX的出現,則有望在與PCIe聯手合作的狀況下,開啟更多異質運算的可能性。
Cheerla也認為,CCIX協定運行於PCIe的基礎上,因此它並非PCIe的競爭對手。CCIX協定能提升資料中心市場中PCIe介面的功能。CCIX協定透過加入許多關鍵功能來擴增PCIe技術,滿足各種處理器與加速器之間共同記憶體資源的需要,其中包括採用繪圖處理器、張量處理器以及FPGA的加速器。CCIX加速器支援快取資料一致性,讓主控端與加速器子系統看到的記憶體資料維持一致,也支援較簡單的編程模型。
Cheerla表示,賽靈思將CCIX視為PCIe協定的超集合,它除了支援PCIe的所有功能,還加入了高效能加速器所需要的額外關鍵功能。CCIX聯盟夥伴正合力確保標準化與互通性,這對任何新技術標準都是一項關鍵挑戰。多家聯盟成員正努力定義與促成各種高效能加速器的使用情境案例。由於CCIX能無縫地連結處理器與加速器,因此成為促成各界採納異質化運算的關鍵技術。
近年可以看到像是TPU、GPU、FPGA等等不同型式的卸載硬體出現,以更智慧的方式卸載、支援CPU的工作。有鑑於以上趨勢,Arm針對了未來資料中心所面對的物聯網、智慧卸載需求,並配合新興的製造製程規畫產品藍圖。
Defilippi進一步說明,PCIe在市場行之有年,在短時間內依然會是非常關鍵的通訊協定;Arm也會持續支援相關的解決方案,但是現在也已經可以看見越來越多設備同時支援PCIe與CCIX介面。
中小型資料中心成長強勁
隨著人工智慧、物聯網等技術的發展,使得資料中心的需求逐漸擴大;其中,依然以超大規模的雲端服務供應商為市場主導。另外,邊緣運算的需求也持續延燒中。以上二趨勢都將帶動低功耗晶片需求,此設計方向也是所有應用場域的大勢所趨。在邊緣運算所使用的小型資料中心應用中,由於對於傳輸效率、機器體積等要求皆與大型資料中心有所差異,因此在未來也有望成為CCIX介面大顯身手的領域。
另一方面,中小型的資料中心同樣是帶動市場發展的重要驅動力。Defilippi舉例,如機器學習相關的應用不見得只會出現在大型資料中心,許多邊緣運算設備也同樣可以做到機器學習應用。
但是,儘管小型資料中心是一個相當重要的市場,但是最大的零組件需求依然是來自全球超大規模雲端的供應商。這樣的市場環境將對於未來的產品設計產生重大的影響,因為未來的晶片設計將會以這些大規模的採購客戶的需求為主要的方向。像這樣的市場方向在短期之內將維持不變,但為了確保互操作性(Interoperability),本地端與雲端之間的連線將成為關鍵,這之間的產品組合也將反應出目前的市場變化。而位於邊緣、較為小型的資料中心,所需要的高速傳輸介面與大型資料中心並無太大差異;然而,對於機器尺寸的要求將會更加嚴苛,這才是未來主要的技術挑戰所在。
Arm企業解決方案總監Jeff Chu(圖4)表示,以往在超大型資料中心的建置上,對於機器尺寸並沒有太大的限制。然而隨著邊緣運算的應用需求出現,對於尺寸方面的限制比以往更為嚴苛。為因應此需求,無論是在網路互連或是儲存傳輸上,必須要配合軟體達到更好的硬體實作效率。

在高速傳輸介面方面,Defilippi提到,目前高階資料中心對於資料吞吐量的需求逐漸升高,因此主流規格也已開始由PCIe Gen3逐漸轉移至PCIe Gen4。產品的特質也逐漸由注重I/O密集型運算(I/O Intensive)為主的架構,轉向計算密集型(Computing Intensive)。
由於邊緣運算的需求逐漸上升,此趨勢也帶動低功耗晶片的需求成長。市場調研機構Ovum分析師Roy Illsley認為,邊緣運算熱潮將持續延燒,並且首先將落實在基地台以及感測器應用上。當然,晶片在各種不同的設備上應用方式皆有所不同,但是低功耗都會是非常重要的考量要素。
目前市場已能看見許多針對人工智慧與機器學習需求而設計的新型晶片,如Google所推出的TPU,就是專為高效能運算(HPC)需求設計晶片的典型案例。其中,在推廣時最大的挑戰在於建立晶片運作的相關環境,使得晶片能夠發揮最大效能。正由於CCIX介面主打的特性就是提升處理器、記憶體等單元之間分配的效率;因此,小型資料中心未來可能成為CCIX介面的重要切入市場。
中國市場不容忽視 Made For China需求增
由於中國區域市場對人工智慧與物聯網相關科技發展的重視,資料中心產業也正在蓬勃發展中。也因為近年來中美貿易戰況未定,因此相關零組件的供應鏈也正在隨之變動。目前,無論是在中國或是非中國的系統單晶片(System on a Chip, SoC)廠商,皆紛紛針對中國市場推出解決方案。
Chu也提到,中國的資料中心市場確實擁有了很強的驅動力,促使廠商發展更多為中國設計、製造的產品,在未來該市場需求也會越來越多。
根據中國工信部於2018年發布的「數據中心白皮書」內容指出,從2010年起,中國的資料中心產業進入高速發展階段,產業規模以每兩年成長兩倍的速度持續擴大中。然而,Illsley提到,由於中美貿易戰以及英國脫歐等國際政治情勢變化,目前全球的資料中心相關供應鏈正受到極大的壓力。上述兩議題不僅是對於股票市場或是製造廠設立地點的改變,也將使得現有的供應鏈不如以往那樣可靠,同時也是未來產業鏈各供應商需要密切關注的趨勢。