在QSFP-DD形狀係數的開發過程中,利用了產業強大的製造能力與成本結構,為支援40GbE和100GbE使用的QSFP+和QSFP28實際標準。這一形狀係數在一個機架單位(RU)上即可啟用36個400GbE埠,提供超過14Tbps的頻寬(圖1)。
QSFP-DD模組向下相容從40Gbps到 200Gbps的所有基於QSFP的收發機,並且可以支援一系列的產品,包括:
.3米長的被動銅纜
.在並行多模光纖上支援100米的距離
.在並行單模光纖上支援500米的距離
.在雙工單模光纖上支援2公里和10公里的距離
.WDM和連貫設計
熱需求與熱工測試
在設計含有可插拔模組的設備時,其中一項挑戰就是每個插座必須能夠承載最大的熱負荷。一項預測全部光學模組的類型與傳輸距離的研究調查結果顯示,需要至少15瓦的冷卻功率才可以支援QSFP-DD 的最大傳輸距離(圖2)。
產業對於小形狀係數模組產品的構建(以及冷卻)經驗豐富。其中包括尺寸較小的SFP單通道模組以及向下相容的QSFP4通道模組。這兩種模組都已大量用於現今的網路交換機當中。這些經驗可以應用到QSFP-DD可插拔模組中,而且,憑藉進一步的創新,現在認為在400GbE產品中可以很容易就能夠達到1瓦的功率(圖3)。
對降溫進行最佳化的靈活性,是QSFP-DD在系統設計方面的一項主要優勢。運用在熱工方面眾多可行的創新,平頂設計可以對頂部的散熱器或熱管進行最佳化。這種靈活設計的範例包括一系列的埠入口、埠排氣口以及邊對邊的冷卻選項。
各種高密度系統採用各不相同的印刷電路板(PCB)布局、風扇放置方式以及氣流控制方案,從而允許對路由、模組布局和氣流進行最佳化。前部對前部的布局可以將QSFP-DD模組置於印刷電路板上相對的兩側。在這種設計中,流過印刷電路板兩面的氣流為模組的冷卻帶來一定的優勢。與堆疊式的卡籠相比,這樣還可為進入模組內部的高速走線實現更好的訊號完整性。前部對前部布局的一個缺點就是印刷電路板上元件的高度受到限制,並且高功率交換晶片上散熱器的高度需要減小。
另一個方案,即堆疊布局,可以將QSFP-DD模組安放到印刷電路板的同一面,而氣流只會在一面流動。在這種布局中,散熱器的高度可以提升到最高,而為交換晶片的冷卻帶來優勢。採用這種堆疊設計的主要挑戰在於向上方堆疊卡籠進行高速走線時的訊號完整性,以及下方卡籠模組的冷卻問題。
進行熱工測試以了解在指定工作範圍內QSFP-DD模組和卡籠的熱力效能,並且確保產品作業過程中耐受極端溫度時QSFP-DD解決方案的穩健性。這些廣泛測試的結果詳細記錄下了氣流和熱工測試的結果,其中使用了溫升作為系統設計的主要參數。在每個測試範例中,目標熱力效能使從環境溫度到模組外殼的溫升保持在30℃以下。
堆疊卡籠測試範例
要在上下插槽中同時對模組進行冷卻,須要將散熱器整合到2×1的卡籠中。進行測試以確定模組-卡籠-散熱器與高功率光學模組這一組合的熱力效能。使用邊對邊的2×1卡籠來代表1RU的交換機,以進行模組熱工測試(表1)。
熱工測試的主要關注點在於固定的1RU系統設計,原因在於,從熱設計的角度來說,這種設計通常最具挑戰性。這一形狀係數的風扇空間受到限制,是最複雜的模組熱設計。線卡向外拉出的模組化系統設計通常配有尺寸更大的風扇,在各元件之間能夠提供更大的氣流。通常情況下,與固定設計相比,模組化系統中的溫升要低5~7℃。
每次測試中,兩個2×1的QSFP-DD卡籠設定為邊對邊的方式。全部熱工測試都在海平面上於20~22℃的室溫範圍內進行。氣流方向為從前到後,並且測試中使用的氣流範圍是系統設計的典型範圍。在某些測試範例中,使用了測力計/測力感測器來將散熱器的下壓力設為指定值,以便達到一致的測試結果。
堆疊卡籠的熱工測試中,在預設為低壓力(表2)或高壓力(表3)的情況下,使用夾具造成溫度升高。這樣就產生了非常接近的溫度結果,表明夾具設計產生的緊固力較為適宜。當每個2×1的卡籠中的氣流約為7CFM時,模組外殼的平均溫升在21~22℃。
溫升圖表明了,如果每個2×1卡籠上的氣流超過8CFM,則模組外殼的溫升可以小於20℃。在大多數的情況下,經過測試的CFM範圍之內,2×1卡籠中的底部模組在執行的時候,將可以比頂部模組的溫度高出2~4℃。溫升與功率圖確認了QSFP-DD模組/卡籠的組合在小於30℃溫升情況下能夠為所需的15瓦功率提供支援。
在前部對前部的設計中,散熱器安裝在表面安裝卡籠的頂部。這種設計在1U的交換機設計中應當提供最優的模組氣流。這是一項元件級別的測試,採用了兩個1×2的QSFP-DD卡籠,設定在測試板的兩面。全部熱工測試都在40℃的溫度下進行。氣流方向為從前到後,並且測試中使用的氣流範圍是系統設計的典型範圍。前部對前部的熱工測試同時採用了14瓦和15瓦的模組功耗。結果顯示,模組中心/後部的功耗偏置可帶來熱力效能上的顯著改善。
在氣流從前向後流動的前部對前部系統中,當每個模組的氣流為6.4CFM時,在46℃的環境溫度下15瓦模組的外殼溫度可保持在70℃以下。在40℃的環境氣溫下,模組的最大功耗增至18瓦。對熱環境或自訂散熱器(更高的散熱片高度和/或更大的散熱片密度)進行最佳化,可將模組的最大功耗提升至18瓦以上。需要6.4CFM的氣流才能達到所需的熱力效能。在2.5英寸水柱的壓降下使風扇反向旋轉可做到這一點。
建立並良好的維護可交互作業的互連解決方案專案,對於收發機模組、交換機技術及伺服器方面的進展絕對具有至關重要的作用。隨著資料中心不斷的提升功率容量以及冷卻系統的極限,熱管理的重要性正在日益提高。
兼具靈活性與經濟性
QSFP-DD模組的熱力效能已針對高效能資料中心環境下的使用進行了廣泛評估。獲得的資料清楚的表明,溫升與氣流的對比充分驗證了15瓦QSFP-DD 模組在現實的資料中心環境下的可行性。
作為一種靈活的低成本解決方案,QSFP-DD模組充分利用了在系統、模組和卡籠的熱設計以及策略上的豐富經驗。熱工測試確認了該形狀係數可在產品的自訂方面為產業提供最大的靈活性。在堆疊卡籠和前部對前部的組態中,QSFP-DD模組都可為所需的熱負荷提供支援,滿足對於下一代高頻寬應用的需求。