- Advertisement -
首頁 市場話題 支援AI推論/視訊轉換 OCP多節點伺服器擴大功效

支援AI推論/視訊轉換 OCP多節點伺服器擴大功效

- Advertisement -

由於亞馬遜(Amazon)、微軟(Microsoft)乃至Google、臉書(Facebook)等業者的雲端資料中心營運規模不斷成長,因而出現了超規模資料中心(Hyperscale Datacenter)一詞,同時在機房設備達更大的裝配量時,傳統19吋寬的機架機櫃與伺服器,在容積密度、散熱用電等營運面的經濟性表現,已逐漸難滿足業者之需。

為了滿足「超規模」的更經濟需求,Facebook於2011年發起開放運算專案(Open Compute Project, OCP)並鼓勵各方加入,期透過解構與再建構的方式,訂立出更具經濟性的機房技術規格與標準,並要求設備商依循新標準實現與交付設備。

OCP提出後相繼有重量級業者加入,如Microsoft、Google;我國的主要伺服器代工業者如廣達、緯穎、神通亦有提案貢獻;對岸則有浪潮集團等。OCP已有的規格提案及發展包含伺服器(Open Rack)、夾層卡(Mezzanine Card)、高效能運算(HPC)等,而OCP的會員組織茁壯後也開始舉辦OCP Global Summit年會。

多節點伺服器來由

OCP制訂的規格標準中以Open Rack為首要重點,Open Rack主張改行21吋寬的機架,以提升機櫃氣流度;並在設備的供電上改行12V/48V直流電,以減少電能耗損;Open Rack在機架高度上改行OpenU/OU(4.8公分),有別於傳統機架的U(1.75吋/4.45公分)。

OCP在伺服器的構型(Form Factor)尺寸上也無意遵循傳統機架伺服器的扁平1U、2U作法,而是在2OU高度的空間內縱向切出三等分,以放置3部伺服器(圖1)。雖然OCP機架空間略增,但卻能比傳統19吋機架多放置一部伺服器,傳統機架伺服器在2U空間內只能放置2部1U高度的扁平伺服器。

圖1 OCP Yosemite在21吋、2OU高度空間內切分出三等分托座

在完成OCP標準的伺服器規格後,傳統機架伺服器陣營開始從刀鋒伺服器(Blade Server)衍生出多節點(Multi-Node)伺服器,Multi-Node伺服器在2U空間內縱向切出四等分,以放置4部伺服器,俗稱2U4N,4N即4個節點之意,一部伺服器視同一個節點。

Multi-Node伺服器與刀鋒伺服器均具有較傳統1U、2U標準機架伺服器更高的放置密度,但卻省去刀鋒伺服器的底座(Chassis,或稱Enclosure)倚賴或降低倚賴,密度表現上則介於標準機架伺服器與刀鋒伺服器間,因而逐漸受歡迎。

Multi-Node的出現也影響了OCP陣營,2015年3月OCP Global Summit上也宣布發展自己的Multi-Node伺服器標準,代號優勝美地(Yosemite,為美國加州一處國家公園)。

Yosemite在每一個三等分的空間(每一等分稱為一個Sled,橫置的3個Sled稱為一個Cubby)內可放置4片伺服器卡,或稱為系統單晶片卡(SoC Card),或微型伺服器卡(Micro-Server Card),如此相同空間內從3部伺服器提升成12部(圖2)。

圖2 OCP Yosemite每一托座可水平前後放置4張伺服器卡,每張卡接1顆(1-Socket, 1S)伺服器處理器

Yosemite第二版

Yosemite伺服器發表後的2年,OCP在2017年OCP Global Summit上宣布Yosemite標準改版,即Yosemite v2,隨Yosemite v2一同發布的新伺服器標準還有3種,分別是儲存專用的伺服器Bryce Canyon、人工智慧(AI)訓練專用的伺服器Big Basin,以及新的標準運算伺服器Tioga Pass,期用來取代前述的OCP標準伺服器(代號Leopard)。

Yosemite v2標準大幅迥異於之前的v1,新標準的機架高度增一倍達4OU,縱向的空間切割配置自三等分增成四等分,每一等分雖然仍是放置4片伺服器板,但放置的方向與v1不同—v1採水平前後放置,v2則採垂直前後放置(圖3)。

圖3 Yosemite v2在4OU空間內縱向切割四等分托座

從密度角度檢視v2標準的表現反而較為寬鬆,4OU內僅能放置16片伺服器,即4U16N(此處為4OU),v1版則在2OU內放置12片,此主要是為了提升每片伺服器的運算力與運算資源,並對應給予更高的供電瓦數與網路頻寬。

事實上在Yosemite v1標準頒布前,Facebook內部工程師即已嘗試在伺服器卡上使用較輕量的SoC系統單晶片(伺服器主控晶片並高度整合相關周邊功能電路),並規範對SoC的供電在30瓦內,結果SoC的運算力過於低落造成網頁平台明顯延遲,因而使正式的v1標準放寬至65瓦。

有趣的是,在Yosemite v2標準中另定義一種專門用來連接快閃記憶體(固態硬碟)的裝置卡稱為Glacier Point v2,也是優勝美地國家公園內的一處景點(冰川點)。配置一張Glacier Point v2需占據一個原伺服器卡的空間位置。

Yosemite v2支援人工智慧推論/視訊格式轉換

2017年提出的Yosemite v2,依然是以Multi-Node Server、Micro-Server為訴求,然而在此之前的2016年,資訊業界再次興起AI熱,並有多家晶片業者、板卡系統業者支持響應,針對AI運算需求發展出對應的支援硬體。

2017年OCP Global Summit上OCP陣營已提出支援AI訓練(Training)或稱學習(Learning)用的伺服器Big Basin,但尚未針對AI推論(或稱推算、推理,Inference)提出對應的硬體支援方案。

而業界在經過2、3年的AI應用探索後,逐漸有許多訓練完成的AI模型,後續多數時間只需要運用模型進行推論,只有少數時候需要再訓練(更新或調整模型、精進模型),故逐漸有針對推論運算最佳化(或稱優化,Optimized)的硬體需求。

雖然訓練用的晶片及系統也能夠支援推論運算,但由於硬體設計上並非是針對推論運算最佳化,運作時的經濟性表現較低落。而OCP發展之初即著眼於營運經濟性,鑑於未來推論運算的需求將逐漸增加,OCP陣營也開始研擬推論運算最佳化的硬體設計。

對此,OCP陣營在2019年OCP Global Summit上提出2大新硬體訴求,一是Zion系統,針對AI訓練而有的新設計;另一則是提升Yosemite v2標準,以加強支援AI推論運算。

Yosemite v2支援推論運算的作法是,以原有的Glacier Point v2卡的尺寸規格衍生出另一種卡,稱為載卡(Carrier Card),卡上最多可設置6個M.2介面的條狀子卡,每個條狀子卡上可配置一顆AI推論運算的加速晶片及相關配套硬體資源(如記憶體、組態儲存),條狀子卡稱為Kings Canyon Inference Module推論模組(圖4)。

圖4 以Yosemite v2所用的儲存載卡Glacier Point v2為基礎支援AI加速晶片的設計

值得注意的是,OCP只定義推論模組的尺寸、介面、用電等相關標準,並不指定何業者的推論加速晶片,而是期望各家的推論晶片均能支援響應Yosemite v2,目前已獲得Esperanto、英特爾(Intel,含併入的Habana Labs)、邁威爾(Marvell)及高通(Qualcomm)等晶片商的支持,規格文件中也歡迎放入GPU或FPGA。

除了推論加速外,OCP也主張以相同尺寸規範的模組改配置視訊編解碼加速晶片,用來加速視訊格式的轉換,OCP稱此為Mount Shasta(沙斯塔山,也稱白山,加州的一座休火山)視訊轉碼(Transcode)模組。

由於推論模組只負責推論運算,依然需要有主控系統負責一般性的運算,對此OCP提出名為Twin Lakes(雙湖,位於科羅拉多州萊克郡)的伺服器卡。而如前述,一個Yosemite v2等分空間內可安置4張卡,因此加速推論方案的配置會是2張Glacier Point v2推論載卡與2張Twin Lakes伺服器卡。

Yosemite v2.5深化支援

以Yosemite v2延伸支援AI推論運算一年後,2020年3月的OCP Global Summit上,OCP陣營更新Yosemite規格以深化支援AI推論,稱為Yosemite v2.5,其在各方面均較v2精進強化。

首先是供電,v2最高為600瓦,v2.5提升成720瓦,增幅20%;其次是網路介面,v2使用10Gbps/40Gbps/50Gbps的多主控(Multi-host)介面,v2.5則增至100Gbps速率,同時以硬體方式支援DCTCP壅塞協定,以及提供更大的接收緩衝區(RX Buffer)、減少傳輸延遲(Latency)等,就側面了解,v2.5用的是NVIDIA(原Mellanox)的ConnectX卡。

在散熱上,v2只支援一個最高轉速1萬轉(10k RPM)的風扇,v2.5則可以在同一基板上配置一或兩個風扇,轉速可以是1萬轉或更高的1萬5千轉。進一步地,v2.5也變更了板卡間的連通組態配置,在v2時每個連往基板的伺服器卡槽(Slot)其頻寬為1組PCIe G3×4介面,而在v2.5則強化了第二與第四卡槽的頻寬,提升成1組PCIe G3×8介面;與此同時v2.5調整了伺服器卡與裝置卡間的頻寬,v2時為PCIe G3×24,在v2.5則為×16。

在推理模組方面,一張載卡可以放置12個單倍寬的M.2介面推理模組(原規範制訂的模組),或是改放置6個兩倍寬(4.6×11公分)的M.2推理模組;單倍寬模組的允許功耗範疇為10~14瓦,雙倍則為15~25瓦;單倍寬的實質介面可以為1組PCIe G3/G4×4通道,雙倍寬則為2組PCIe G3/G4×4通道(圖5)。

圖5 單倍寬的M.2介面加速模組(左)與雙倍寬的M.2介面加速模組(右)

Yosemite v3再次變革

2020年OCP Global Summit除了更新v2.5外,也開始揭露v3的部分技術內容,Yosemite v3沿用v2的4U16N的空間配置方式,但每一等分的板卡放置方式又再次大改變,從垂直前後放變成水平疊放,水平疊放也不同於Yosemite v1時的水平前後放,依據官方說法,水平疊放的作法可以獲得更佳的散熱效果。

也因為過往未曾用過的放置、配置方式,Yosemite v3也需要新尺寸設計的伺服器卡,此稱為Delta Lake Server,每一片Delta Lake伺服器卡上有2組M.2介面,可用來連接固態硬碟(OCP方面的態度也歡迎使用Optane之類的新型態儲存晶片)、推論加速晶片,或高速網路介面(圖6)。

圖6 Yosemite v3水平放置4張伺服器卡,基板位於最上端,各伺服器均可再各自連接M.2介面模組子卡

採行水平疊放的Yosemite v3在空間運用上也較前兩代靈活,在4OU高度的空間中,除了放入4片各自占有1OU高度的伺服器卡外,也可以改放置2片各占有2OU高度的伺服器卡,2OU的空間配置較寬裕,可用來提升運算效能或運算資源,如安裝較高的處理器散熱片、更高效能的AI推論加速晶片,以及更多固態硬碟儲存或更高速網路等(圖7)。

圖7 搭配Yosemite v3提出的Delta Lake伺服器卡因高度、寬度上均具有空間彈性,可彈性實現各種組態配置

不過與之前幾代相同的,Yosemite v3也是在每一等分的空間內設置一張基板,同一空間內的伺服器卡均必須與該基板連接,以獲得基本共享功能。此一基板也因為Yosemite v3改行水平疊放也必須重新設計。

臉書AI推論技術策略推探

綜觀上述,Yosemite歷經多次演化,從最初只為多節點伺服器、微型伺服器而設計,而後擴展延伸成支援AI推論加速與視訊轉換加速,為此在構型尺寸上不斷嘗試,並在介面、頻寬、功耗等各方面對應調整。

Yosemite雖為OCP陣營所提出,但OCP的技術主張也極大程度反應了Facebook官方的技術主張,估計未來Facebook資料中心內的主力AI推論執行系統,必會是依循Yosemite規範實現的系統。

另外從上述Yosemite規範的演進來檢視,Facebook似乎無意發展自有的AI推論加速晶片,而是廣邀各晶片商參與,此舉有別於Amazon與Google。Amazon已明確表達將發展自有機房端AI推論晶片Inferentia,Google亦在機房內使用自有的訓練、推論雙用的Cloud TPU,並在機房外推展推論專用的Edge TPU,而Microsoft則傾向在機房內使用FPGA支援推論。

Facebook雖看似較淡泊於機房端推論技術,實際上卻有更廣義的技術布局,Facebook已針對AI推論執行開發了Glow編譯器,該編譯器可將推論工作配置到多部小型系統中同時執行,很明顯呼應Yosemite的系統設計。

另外Facebook也不全然倚賴Yosemite,Facebook亦與Intel合作,直接在Intel新款Xeon SP伺服器晶片(代號Cooper Lake)上,運用晶片內的AVX-512向量執行單元,支援Facebook主張的FP16、Bfloat16格式之推論執行,如此也可降低對專精AI推論晶片的倚賴,成為Facebook在推論硬體技術上的另一備案,或成為Yosemite的調節後援。

最後回歸到Yosemite技術主軸,展望未來估計Yosemite的發展將為高度挑戰:一是Yosemite在5年內進行2次構型大變革,包含v2完全改變構型與內部配置,以及v3完全內部配置;加上v3推行在即,v2.5可能成為尷尬的過渡等,在如此頻繁更動下,設備商可能產生觀望心態,延遲投入發展的時間。

二是OCP自身已是另闢發展的機架伺服器,與標準機架伺服器相比相對小眾,僅能用於Facebook、Microsoft等業者的超規模資料中心,除此之外並非全球超規模資料中心業者均買單,一般企業更無意採用,現階段量價均攤效益不若標準機架伺服器,而微型伺服器無論在標準機架或OCP機架中都更加小眾,量價均攤效益更低。

因此,Yosemite能否成為逐漸茁壯並朝主流邁進的標準,後續規格不可再有大調整,且Facebook或OCP須承諾在未來數年均有一定規模之用量,甚至有更多的配套鼓勵,否則前景難以樂觀。

相關文章

- Advertisement -
- Advertisement -

最新文章

- Advertisement -

熱門文章

- Advertisement -

編輯推薦

- Advertisement -