top of page

📢 STT 訂閱專區已上線

免費文章會照常更新,一篇都不會少。訂閱是「加強版」——每週深度週評、財報法說的完整判讀、所有長篇深度報告全包。

免費讓你跟上,訂閱讓你看懂、能做判斷。

月訂 NT$199|年訂 NT$2,000(約 NT$167/月)
👉 立即訂閱: vocus.cc/salon/simpletechtrend

技術文章分析 | 51.2T NPO 交換器散熱:835W ASIC 加 16 顆光引擎,氣冷還是液冷?

  • 7月1日
  • 讀畢需時 8 分鐘

Celestica 在 ITherm 2023 發表了一篇很「工程師」的論文:把下一代 51.2T 近封裝光學(Near-Packaged Optics,NPO)交換器的散熱問題,用整合式氣冷、分離式氣冷、冷板液冷三條路各跑一遍 Flotherm 模擬,直接給結論。核心矛盾只有一句話:中間那顆 835W 的 ASIC 要壓在 Tj 105°C 以下不難,難的是旁邊 16 顆只有 56W、但殼溫規格卡死在 70°C 的光引擎(Optical Engine,OE)。結論很乾脆:氣冷勉強能過但沒餘裕,液冷在 2 LPM 流量下 ASIC 與 OE 都有安全邊際,才是 51.2T 世代的正解。

1. 論文背景:一家 ODM 大廠,為什麼認真算散熱

先講清楚這篇是誰寫的。作者 Yaoyin Fan 等四人來自 Celestica(加拿大電子製造服務/ODM 大廠),發表在 2023 年第 22 屆 IEEE ITherm。這個會議是電子散熱領域的頂級場子,論文能上代表它的模擬邊界條件與方法是被同儕認可的。

為什麼一家做代工的公司要認真算散熱?因為 NPO/CPO(共封裝光學)這種新架構,散熱設計本身就是決定「這台交換器能不能量產」的關鍵瓶頸,而瓶頸這關通常就是壓在 Celestica 這種負責整機組裝與熱設計的 ODM 身上。這篇論文本質上是 Celestica 對客戶秀肌肉:51.2T NPO 的熱,我們算過了。


2. 為什麼 51.2T 是一場散熱噩夢

問題的根不在光模組,也不在 PCB,而在交換晶片(ASIC)的功耗曲線已經失控。論文開頭用一張 Broadcom 的 ASIC 藍圖把驅動力講白了:從 2013 年 TH1(3.2T)的 196W,一路爬到 TH4(25.6T)的 580W,再到 TH5(51.2T)預估破 800W。25.6T 這一代比前一代直接跳了約 60%,而 51.2T 這一代論文取用的模擬值是 835W。


圖片說明:Figure 1:Broadcom 交換 ASIC 功耗藍圖,TH1(196W)一路飆到 TH5(800+W)圖片來源:Y. Fan et al., ITherm 2023 - Figure 1
圖片說明:Figure 1:Broadcom 交換 ASIC 功耗藍圖,TH1(196W)一路飆到 TH5(800+W)圖片來源:Y. Fan et al., ITherm 2023 - Figure 1

NPO 的解法是把多顆光引擎搬到 ASIC 旁邊,縮短電路徑、省掉大量 SerDes 功耗,總功耗因此比傳統架構低很多。

Figure 2:NPO 架構示意,中央為交換 ASIC,四周環繞光引擎。圖片來源:Y. Fan et al., ITherm 2023 - Figure 2
Figure 2:NPO 架構示意,中央為交換 ASIC,四周環繞光引擎。圖片來源:Y. Fan et al., ITherm 2023 - Figure 2

但省下的是系統總功耗,換來的是熱點密度的大麻煩。模擬元件規格(Table 1):ASIC 封裝 87×75×4.62mm、裸晶 31.37×24.74×0.84mm、功耗 835W、Tj 規格 105°C;OE 晶片 52×22.5×7.6mm、單顆 56W、殼溫(Tc)規格只有 70°C。兩個關鍵落差:ASIC 功耗是 OE 的近 15 倍,但 OE 的溫度規格反而嚴苛 35°C。這就是整篇論文所有設計取捨的源頭。


3. 業界已經走過的兩條 NPO 散熱路

第一條是 Meta。2022 年 5 月 OCP tech talk,Meta 提出用一顆 51T ASIC 搭配四周 NPO 埠、塞進 4RU 機箱的方案,散熱採一體式散熱器同時罩住 ASIC 與 16 顆光模組。

Figure 3:Meta NPO 方案爆炸圖,採一體式散熱器同時冷卻 ASIC 與 16 顆光模組。圖片來源:Y. Fan et al., ITherm 2023 - Figure 3
Figure 3:Meta NPO 方案爆炸圖,採一體式散熱器同時冷卻 ASIC 與 16 顆光模組。圖片來源:Y. Fan et al., ITherm 2023 - Figure 3

第二條是 Ragile(銳捷)。2022 年 9 月 OCP 全球峰會,Ragile 展示了 51.2T 與 25.6T 兩款 NPO 交換器實機,兩者都用冷板液冷。

Figure 4:Ragile 於 2022 OCP 全球峰會展示的 51.2T NPO 交換器實機。圖片來源:Y. Fan et al., ITherm 2023 - Figure 4
Figure 4:Ragile 於 2022 OCP 全球峰會展示的 51.2T NPO 交換器實機。圖片來源:Y. Fan et al., ITherm 2023 - Figure 4

Meta 走氣冷一體式、Ragile 走液冷,這篇論文的貢獻就是把三條路放在同一組邊界條件下公平對決。


4. 三種散熱武器的底層原理

熱管(Heat Pipe,HP)與均熱板(Vapor Chamber,VC)是 ASIC 散熱的老將,靠內部工質相變傳熱。VC 底座貼著發熱晶片把熱攤平擴散到鰭片;焊在散熱基座上的熱管再把 VC 的熱往鰭片頂端送,提升鰭片效率、降低擴散熱阻。

Figure 5:熱管與均熱板散熱器的工作原理,工質相變循環傳熱。圖片來源:Y. Fan et al., ITherm 2023 - Figure 5
Figure 5:熱管與均熱板散熱器的工作原理,工質相變循環傳熱。圖片來源:Y. Fan et al., ITherm 2023 - Figure 5

3D 均熱板(3D VC)是進階版,等於一根圓形熱管加一片扁平均熱板的結合體,兩者間沒有接觸熱阻,同時實現平面與軸向傳熱,做到三維傳熱。


Figure 6:3D 均熱板工作原理,結合平面與軸向傳熱達成三維傳熱。圖片來源:Y. Fan et al., ITherm 2023 - Figure 6
Figure 6:3D 均熱板工作原理,結合平面與軸向傳熱達成三維傳熱。圖片來源:Y. Fan et al., ITherm 2023 - Figure 6

第三種是冷板液冷。論文選了最成熟、成本可控的單相冷板液冷:冷卻液(水)從進水口打進冷板,流經流道被晶片熱流加熱,再從出水口帶走熱。冷板設計好壞直接決定散熱表現。

Figure 7:冷板剖面示意,冷卻液沿內部流道帶走晶片熱流。圖片來源:Y. Fan et al., ITherm 2023 - Figure 7
Figure 7:冷板剖面示意,冷卻液沿內部流道帶走晶片熱流。圖片來源:Y. Fan et al., ITherm 2023 - Figure 7

5. 氣冷方案一:整合式散熱器(ASIC 與 OE 共用一顆)

邊界條件:4U 機箱,氣冷模擬域 500×326×118.5mm,散熱器最大可用空間 320×230×103mm;進風 35°C、海平面。

Figure 8:氣冷模擬域,進風 35°C、機箱高度 118.8mm。圖片來源:Y. Fan et al., ITherm 2023 - Figure 8
Figure 8:氣冷模擬域,進風 35°C、機箱高度 118.8mm。圖片來源:Y. Fan et al., ITherm 2023 - Figure 8

整合式第一版 VC+HP:整體 320×200×92mm、鰭距 1.6mm、鰭厚 0.3mm、鋁鰭片,VC 底座加 10 根熱管(Table 2)。


Figure 9:VC+HP 整合式散熱器,10 根熱管提升鰭片效率。圖片來源:Y. Fan et al., ITherm 2023 - Figure 9
Figure 9:VC+HP 整合式散熱器,10 根熱管提升鰭片效率。圖片來源:Y. Fan et al., ITherm 2023 - Figure 9

第二版 3D VC 整合式散熱器,尺寸與鰭片參數相同(Table 3),差別在用 3D VC 取代 VC+HP。


Figure 10:3D VC 整合式散熱器示意。圖片來源:Y. Fan et al., ITherm 2023 - Figure 10
Figure 10:3D VC 整合式散熱器示意。圖片來源:Y. Fan et al., ITherm 2023 - Figure 10

整合式的死穴:OE 跟 ASIC 共用散熱器時,OE 溫度必然被 ASIC 拖累——OE 殼溫規格 70°C 遠低於 ASIC 的 105°C,而 ASIC 功耗又高得多。這直接引出下一個方案。


6. 氣冷方案二:分離式散熱器(把 OE 從 ASIC 旁邊救出來)

分離式的邏輯:讓 ASIC 與 OE 各用各的散熱器,物理隔離熱流。論文設計五顆分離散熱器——一顆前置 OE、兩顆側邊 OE、一顆後置 OE、一顆 ASIC 散熱器。

Figure 11:分離式散熱器佈局,ASIC 與四方位 OE 各自獨立散熱。圖片來源:Y. Fan et al., ITherm 2023 - Figure 111
Figure 11:分離式散熱器佈局,ASIC 與四方位 OE 各自獨立散熱。圖片來源:Y. Fan et al., ITherm 2023 - Figure 111

兩個巧思(Table 4、Table 5):ASIC 散熱器 120×218×81mm、VC+10 HPs;為讓氣流多灌進中央 ASIC,前置 OE 散熱器中央刻意不做鰭片讓風道通過;側邊 OE 用 6 根熱管把熱導到平行鰭片,替 ASIC 讓出空間。救了 OE,但 ASIC 能用的鰭片面積被壓縮了。


7. 液冷方案:一進兩出的雙迴路冷板

配置(Table 6):1 顆 ASIC(836W)+ 16 顆 OE(56W/顆),總液冷熱負載 1732W;開迴路、單相;設計流量 1.6/2/3 LPM;工質為水;FWS 最高供水溫 32°C、TCS 供液溫 40°C。

關鍵難點:ASIC 功耗 835W、裸晶只有 31.37×24.74mm,熱流密度衝到 108 W/cm²,擴散熱阻很高。解法是在冷板下設計 VC 底座(pedestal)降低擴散熱阻,冷板底部再做一片大 VC 基板把熱均勻攤給冷卻液。


Figure 12:冷板液冷組裝示意,ASIC 下方設 VC 底座降低擴散熱阻。圖片來源:Y. Fan et al., ITherm 2023 - Figure 12
Figure 12:冷板液冷組裝示意,ASIC 下方設 VC 底座降低擴散熱阻。圖片來源:Y. Fan et al., ITherm 2023 - Figure 12

依 NPO 晶片分佈,設計了兩進兩出的冷板(Table 7:ASIC 流道 80×62×5.5mm、鰭距 1.1mm;單顆 OE 流道 32×20×5.5mm、鰭距 1.3mm;鰭厚 0.2mm、銅鰭片)。

Figure 13:冷板內部流道與冷卻液流向設計。圖片來源:Y. Fan et al., ITherm 2023 - Figure 13
Figure 13:冷板內部流道與冷卻液流向設計。圖片來源:Y. Fan et al., ITherm 2023 - Figure 13

8. 被低估的關鍵:TIM 選擇與壓合力

當 ASIC 熱流密度到 108 W/cm²,熱介面材料(Thermal Interface Material,TIM)選錯,接觸熱阻就會大到讓晶片必然過溫。ASIC 端選了相變化材料(PCM)Laird TPCM 7900。真正需要精算的是 OE 端,因為 TIM 厚度受組裝公差影響很大。論文用一維裝配公差堆疊分析(TA)來算。

Figure 14:TA 公差分析涉及的結構堆疊。圖片來源:Y. Fan et al., ITherm 2023 - Figure 14
Figure 14:TA 公差分析涉及的結構堆疊。圖片來源:Y. Fan et al., ITherm 2023 - Figure 14

Figure 15:TA 公差分析的關鍵尺寸 A~F 定義。圖片來源:Y. Fan et al., ITherm 2023 - Figure 15
Figure 15:TA 公差分析的關鍵尺寸 A~F 定義。圖片來源:Y. Fan et al., ITherm 2023 - Figure 15

TA 結果(Table 8~10)算出 OE TIM 壓合後厚度落在 0.43~1.12mm,因此需要至少 1.5mm 厚的導熱墊。四款導熱墊對決(Table 11、12):Fujipoly GR130A(13 W/mK)壓合力 >300.7 LBF,裝不上去;PG130A(13)169.5 LBF;Laird SF10(10)28.6 LBF;Lipoly Twork9000(20)21.8 LBF。結論:Twork9000 導熱率更高(20 vs 10)、壓合力反而更小(21.8 vs 28.6 LBF),是最佳解。導熱率不是唯一指標,壓合力才是能不能量產的關卡。


9. 三方案模擬對決:數字說話

工具是商用 CFD 軟體 Flotherm。整合式兩版本(Fig 16、17):VC+HP 版 ASIC Tj 93.0°C、最熱 OE 70.2°C;3D VC 版 ASIC Tj 91.3°C、最熱 OE 71.5°C。3D VC 讓 ASIC 更低但 OE 反而更熱(OE 區熱管數量受限),熱管佈局優化是關鍵。


Figure 16:整合式散熱器 ASIC 與 OE 溫度分佈((a) HP-VC;(b) 3D VC)。圖片來源:Y. Fan et al., ITherm 2023 - Figure 16
Figure 16:整合式散熱器 ASIC 與 OE 溫度分佈((a) HP-VC;(b) 3D VC)。圖片來源:Y. Fan et al., ITherm 2023 - Figure 16

Figure 17:整合式散熱器沿氣流方向的鰭片溫度剖面。圖片來源:Y. Fan et al., ITherm 2023 - Figure 17
Figure 17:整合式散熱器沿氣流方向的鰭片溫度剖面。圖片來源:Y. Fan et al., ITherm 2023 - Figure 17


分離式(Fig 18):ASIC Tj 95.1°C(差 2.1°C),但最熱 OE 壓到 68°C(低 2.2°C),全數過關且有餘裕。前置 OE 最涼(吃到未預熱進風),側邊與後置 OE 分佈均勻。

Figure 18:分離式散熱器 ASIC 與 OE 溫度分佈,OE 全數壓在 70°C 規格內。圖片來源:Y. Fan et al., ITherm 2023 - Figure 18
Figure 18:分離式散熱器 ASIC 與 OE 溫度分佈,OE 全數壓在 70°C 規格內。圖片來源:Y. Fan et al., ITherm 2023 - Figure 18

液冷(Fig 19~21)是三方案裡最好的。1.6 LPM 時 OE 73.6°C 超規 3.6°C;2 LPM 時 ASIC Tj 84.9°C、OE 66.5°C,雙雙有餘裕,建議設計流量至少 2 LPM。

Figure 19:冷板液冷在 1.6/2/3 LPM 下的 ASIC 與 OE 溫度。圖片來源:Y. Fan et al., ITherm 2023 - Figure 19
Figure 19:冷板液冷在 1.6/2/3 LPM 下的 ASIC 與 OE 溫度。圖片來源:Y. Fan et al., ITherm 2023 - Figure 19

2 LPM 下(Fig 20、21)VC 基板溫度均勻。OE 沿流動方向逐漸升溫——8# OE 比 1# OE 高約 8°C,冷卻液一路被加熱,下游晶片自然更熱。這是串接式液冷共通的宿命。


Figure 20:2 LPM 流量下冷板液冷的 ASIC 與 OE 溫度分佈。圖片來源:Y. Fan et al., ITherm 2023 - Figure 20
Figure 20:2 LPM 流量下冷板液冷的 ASIC 與 OE 溫度分佈。圖片來源:Y. Fan et al., ITherm 2023 - Figure 20
Figure 21:OE 沿冷卻液流向逐漸升溫,8# 比 1# 高約 8°C。圖片來源:Y. Fan et al., ITherm 2023 - Figure 21
Figure 21:OE 沿冷卻液流向逐漸升溫,8# 比 1# 高約 8°C。圖片來源:Y. Fan et al., ITherm 2023 - Figure 21

10. 別忘了結構:壓合力與變形風險

整合式把 ASIC 與 OE 壓在同一顆散熱器下,公差堆疊容易造成應力集中。用 Twork9000 當 OE TIM 時單顆最大壓合力 21.8 LBF;ASIC 依規格最大需求 82.3 LBF,取安全係數 0.8 後設計壓合力 65.8 LBF。補強:PCB 背面加支撐托架,VC 基座背面與鰭片中段加不鏽鋼支撐板。

Figure 22:VC 基座與鰭片的不鏽鋼支撐補強件。圖片來源:Y. Fan et al., ITherm 2023 - Figure 22
Figure 22:VC 基座與鰭片的不鏽鋼支撐補強件。圖片來源:Y. Fan et al., ITherm 2023 - Figure 22

變形模擬(Fig 23):ASIC 周圍最大變形 0.574mm,加托架後鰭片保護良好。安全係數模擬(Fig 24):加托架後結構達 >1 安全係數。


Figure 23:變形模擬,ASIC 周圍最大變形 0.574mm。圖片來源:Y. Fan et al., ITherm 2023 - Figure 23
Figure 23:變形模擬,ASIC 周圍最大變形 0.574mm。圖片來源:Y. Fan et al., ITherm 2023 - Figure 23
Figure 24:安全係數模擬,加補強件後結構達 >1 安全係數。圖片來源:Y. Fan et al., ITherm 2023 - Figure 24
Figure 24:安全係數模擬,加補強件後結構達 >1 安全係數。圖片來源:Y. Fan et al., ITherm 2023 - Figure 24

11. STT 觀點:這篇論文真正的產業訊號

第一,它幫整個產業把「NPO 散熱能不能過」這題證明題做完了。氣冷分離式勉強能過(OE 68°C)、液冷 2 LPM 舒服過(OE 66.5°C),門檻被驗證性地降低——對還在觀望 NPO/CPO 導入時機的系統廠是一劑強心針。

第二,OE 才是散熱瓶頸,不是 ASIC。真正卡關的是那 35°C 的規格落差——OE 殼溫 70°C 的天花板才是所有設計取捨的圓心。這對光引擎供應商(做 ELSFP/光引擎模組的玩家)是明確訊號:你的模組熱設計與封裝 Tc 表現,會直接決定客戶能不能用氣冷、要不要被迫上液冷。OE 的散熱友善度正在變成一項競爭力。

第三,液冷是趨勢,但氣冷還沒出局。論文明講 VC+HP 比 3D VC 更適合,因為 OE 冷卻是瓶頸、而 3D VC 成熟度還不如 VC+HP。在 51.2T 世代,成熟度與供應鏈可得性有時比帳面熱表現更重要。真正全面轉液冷可能要等 102.4T 那一代。

一句話收尾:51.2T NPO 的散熱戰場,勝負手不在那顆最兇的 ASIC,而在那 16 顆最嬌貴的光引擎。


總結

Celestica 這篇 ITherm 2023 論文用三種散熱路線的公平對決,替 51.2T NPO 交換器的熱設計立了一個可信的參考基準。三個判斷:其一,冷板液冷在 2 LPM 下 ASIC 與 OE 都有餘裕,是 51.2T 世代最穩的解;其二,若堅持氣冷,分離式優於整合式、VC+HP 優於 3D VC,關鍵在把 OE 從 ASIC 熱流中隔離;其三,TIM 選擇不能只看導熱率,壓合力才是量產關卡。對光引擎供應鏈而言,模組的 Tc 熱表現正在從規格書上的一行字,變成決定客戶散熱架構的競爭力。


參考資料

  • Y. Fan, M. Luo, C. Liu, S. Zhang, "Thermal solution study of 51.2T Near-packaged optics switch," 2023 22nd IEEE ITherm, 2023. DOI: 10.1109/ITHERM55368.2023.10177553


bottom of page