2026 OCP Global Summit | AMD | Andrew Dieckmann、Steve Scott、Alan Smith | Inside AMD Helios：Engineering AI at Rack Scale
1. 為何這場值得聽：客戶到手之後，AMD 要回答「為什麼是機櫃」
這場是爐邊對談，只有五張投影片，真正的資訊都在對話裡。主持的是資料中心 GPU 事業群總經理 Andrew Dieckmann，對談的兩位是 AMD 機櫃系統首席架構師 Steve Scott，以及 GPU 首席架構師 Alan Smith。
開場先交代戰果：AMD 已宣布和 Anthropic、Meta、OpenAI 簽下多 GW 等級的 Helios 合約，雲端端則有 Microsoft、Oracle、Vultr、TensorWave，還有「幾家尚未公布」。我們在 法說精華：AMD｜Q2 FY2026（Helios） 拆過這批訂單對營收的意義；這次 OCP 要回答的是另一個問題：AMD 為什麼能在機櫃這一層，跟已經賣了好幾代 NVL72 的 NVIDIA 正面對打。
Steve Scott 的答案很直接：機櫃設計的目標，是讓整櫃「用起來像一顆 GPU」，但擁有任何單一封裝都給不了的記憶體、網路頻寬與算力。這句話 NVIDIA 也講過，差別在於 AMD 每一步的實現方式。
同樣的目標，AMD 選了一條每一步都更開放的路。
2. 拆解第一個選擇：scale-up 為什麼用乙太網路
Helios 的 scale-up 走乙太網路，Steve Scott 給了三個理由：
生態系：交換器、SerDes、連接器的供應商最多，管理、遙測、錯誤處理的軟體工具都成熟，客戶也有多年經驗。
交換器 radix 最高：乙太網路交換器永遠走在交換容量的最前面。高 radix 代表封包只要過一層交換器就能到任何 GPU，不必多跳。
未來擴充：他明說後續世代的 scale-up domain 會更大，高 radix 是擴大規模時減少跳數的關鍵。
但傳統乙太網路有一個不適合 scale-up 的地方：外掛 NIC 要能定址數十萬個端點、內建複雜的資料搬移引擎。以 Helios 在 scale-up pod 裡塞的頻寬，這種設計太重。
AMD 的解法是把 Infinity Fabric／UALink 的 load/store 協定直接接到極輕量的 NIC 上，而且這顆 NIC 整合在 GPU 的 fabric 裡。GPU 直接把 load/store 包進乙太網路封包送出去，並依流量動態調整：
流量輕、對延遲敏感時，資料一就緒就送出小封包。
流量重、受頻寬限制時，把更多資料塞進同一個大封包，提升有效頻寬。
▲ 傳統乙太網路需外掛 NIC 並多跳交換；Helios 把輕量 NIC 整合進 GPU，load/store 直接封包化、一跳過高 radix 交換器（圖片來源：Simple Tech Trend 自製，資料來源 AMD 2026 OCP Global Summit 簡報）
這和我們在 2026 OCP APAC Summit｜乙太網開始吃 scale-up 談到的方向一致：scale-up 的戰場已經從「NVLink 或其他」變成「乙太網路要怎麼改才夠輕」。AMD 的版本是把改造做在 GPU 這一側，交換器維持標準乙太網路。
3. 拆解第二個選擇：ORW 雙寬機櫃，與「最後幾代全電」
Steve Scott 用一條因果鏈描述整個機櫃：
要緊密耦合就要大量頻寬，而這可能是最後幾代全用電來做的設計，所以電路板與 cable cartridge 都要為電訊號最佳化。
電訊號距離短，東西就要擠在一起，密度拉高就必須液冷。
部署規模巨大，所以運算托盤與交換托盤都是盲插：推進去，電源、冷卻、訊號一次接上。
▲ AMD Helios 機櫃與運算托盤、交換托盤，整合 EPYC、Instinct、Pensando 與 ROCm（圖片來源：AMD｜2026 OCP Global Summit 簡報（20:57））
Helios 最顯眼的外觀特徵是寬。它採用 OCP 的 ORW（Open Rack Wide）雙寬規格，理由來自客戶：
前面板空間更大，可以拉出更多網路頻寬。
內部空間更大，AMD 自己和客戶要加的東西都放得下。
降低樓板荷重，太擠的機櫃會讓單位面積重量失控。
這裡最值得注意的是時機感。銅背板加液冷是 NVL72 開出來的路，AMD 這代照走；但它的首席架構師在公開場合把「最後幾代」說出口，等於告訴供應鏈：scale-up 換光已經寫進 AMD 的路線圖，只是還沒給年份。Steve Scott 的原話是 aggressively introducing optics。
4. 拆解第三個選擇：一套參考設計，很多種機房
AMD 有參考設計，但 Steve Scott 強調「one size doesn't fit all」，Helios 在每個介面都留了調整空間：
調整項目 | 客戶可選 |
電源饋入 | 不同電壓的饋電架構 |
冷卻水溫 | 無冰水機 40–45°C，或有冰水機 25–30°C |
電源備援 | N+N，或「4 取 3」 |
斷電續航 | 可加超級電容撐過短暫中斷 |
Scale-out 拓樸 | rail-optimized、multiplane 等 |
製造 | 客戶自選 ODM |
▲ Helios 在電源饋入、冷卻水溫、備援、斷電續航、網路拓樸與 ODM 六個面向保留客戶自選空間，規格一年前已公開給 OCP（圖片來源：Simple Tech Trend 自製，資料來源 AMD 2026 OCP Global Summit 簡報）
更關鍵的是：AMD 一年多前就把 Helios 的規格全部公開給 OCP，連接器、電源供應器、冷卻，甚至機櫃搬運車都在內。目的是讓客戶自己建穩健的供應鏈，跟自己挑的 ODM 合作。
這是 AMD 和 NVIDIA 最根本的差異。我們把兩邊的機櫃哲學並排看：
面向 | AMD Helios | NVIDIA NVL72 系列 |
Scale-up 協定 | 乙太網路承載 UALink load/store | 自家 NVLink |
Scale-up 交換器 | 標準乙太網路交換器，多家可選 | 自家 NVLink Switch |
機櫃規格 | OCP ORW 雙寬，整櫃規格公開 | 自家 MGX 架構，部分設計貢獻給 OCP |
供應鏈主導權 | 客戶與 ODM | NVIDIA 定義、合作夥伴執行 |
NVIDIA 的優勢是整合度與出貨經驗，AMD 的賭注是：hyperscaler 寧可多花一點整合功夫，也要拿回供應鏈與機房設計的主導權。Meta 與 OpenAI 願意簽多 GW，代表至少有一部分客戶認同這個交易。
5. 記憶體與 MX 格式：AMD 真正想守的是可攜性
Alan Smith 談記憶體時給了一個實用的框架：頻寬直接決定 token 生成速度，容量比較難量化，但它是一個可以「調」的參數。容量越大，同樣的模型需要的 GPU 越少，每顆 GPU 的算力越能被用滿；剩下的空間拿來放 KV cache，就能在同樣的互動性 SLA 下同時服務更多使用者。
他用來衡量 Helios 的指標也很務實：推論看 time to first token、tokens per second、每位使用者的 tokens per second，目標是把整條 Pareto 前緣往右上推；訓練看達到特定能力的訓練時間。和一年前的 MI355 世代相比，矩陣算力、向量算力、記憶體、scale-up 頻寬、scale-up domain 的 GPU 數、scale-out 能力全部一起升級，因為只要一項落後，GPU 使用率就會掉。
軟體端，Alan Smith 特別點名 AMD 在 OCP 推動的 MX（microscaling）浮點格式標準化：模型開發者用同一套量化與訓練流程，就能跨多家硬體執行，不必重新量化或重訓。這對 AMD 是防守也是進攻：只要模型能無痛搬家，客戶換供應商的轉換成本就會下降。
6. 風險與反面論點
開放的代價是整合：規格公開、ODM 自選、各種電源冷卻組合，代表每個客戶的驗證工作都不一樣。NVIDIA 的整櫃交付模式，在上市時間上仍有優勢。
輕量 NIC 的實測數據沒有公開：動態切換延遲與頻寬的機制聽起來漂亮，但這場沒有給延遲、有效頻寬或與 NVLink 的比較數字。
沒有硬規格：整場沒有提 GPU 數、HBM 容量或算力數字，這些要回到 AMD 先前的官方發表核對。
光學時間表模糊：「最後幾代全電」與「積極導入光學」都沒有附年份，無法判斷是下一代還是再下一代。
客戶集中：三家多 GW 合約撐起主要能見度，任何一家的部署節奏調整都會直接反映在出貨上。
7. 對台灣供應鏈的意義
開放規格直接擴大可接單的範圍。AMD 明說公開規格是為了讓客戶建立連接器、電源供應器、冷卻、機櫃搬運等供應鏈，並選擇自己的 ODM。這幾個品類台灣都有大廠（AI 伺服器 ODM、電源、液冷模組、機構件），但哪幾家已拿到 Helios 訂單，這場演講沒有說，要等各家法說或客戶公告。
冷卻規格要能吃兩種水溫。40–45°C 無冰水機與 25–30°C 有冰水機兩種設計並存，對冷板、CDU 廠商代表要做兩套熱設計與驗證，產品線變寬，認證成本也變高。
ORW 雙寬是機構與線材的新規格。更寬的前面板代表更多網路埠，盲插托盤代表電源、冷卻、訊號連接器都要一次對準，這對台灣的機構件與連接器廠是規格換代的機會。
光學的訊號已經出現，但還沒有時間表。Steve Scott 說要「積極導入光學」，若 scale-up 在後續世代換光，受惠的是光引擎、雷射光源與光纖連接；我們在 銅纜撐不住 AI 之後：scale-up 光互連的七條路 整理過可能的路線。台廠現在該做的是卡位驗證，不是期待營收。
8. 總結
這場演講沒有新規格，但把 AMD 的機櫃策略講得很清楚：NVIDIA 賣的是一台整合好的機器，AMD 賣的是一份公開的設計，加上一顆會自己講乙太網路的 GPU。乙太網路 scale-up、ORW 雙寬、規格公開、MX 格式，每一步都在降低客戶的轉換成本與供應鏈綁定。
時間要分開看。這一代 Helios 仍是銅背板加液冷，競爭力取決於能否在 Meta、OpenAI、Anthropic 的機房準時大量上線；下一代的關鍵字是更大的 scale-up domain 與光學。接下來 12 個月該盯三件事：Helios 首批大規模部署的時程、整合式乙太網路 NIC 的實測延遲，以及 AMD 何時公布 scale-up 光學的世代與時間表。
當首席架構師說出「最後幾代全電」，銅背板的倒數計時就不是供應商的推測，而是客戶的路線圖。
本文僅供技術與產業趨勢分析，不構成任何投資建議。
留言