2026 OCP Global Summit | OpenAI、Broadcom | Guohan Lu、Eric Spada | Enabling AI Networking @ Scale with MRC

4天前

讀畢需時 6 分鐘

1. 為何是 OpenAI 和 Broadcom 一起上台

傳統 RDMA 的 RC（Reliable Connection）是為「網路不太會壞」的世界設計的。AI 訓練叢集正好相反：規模大到每天都有東西在壞，而同步訓練的速度被最慢那條連線決定。

MRC 的起點在 2024 年初：Ultra Ethernet Consortium（UEC）與幾家廠商已經在研究多路徑與封包噴灑。OpenAI 與 Microsoft 接著找上廠商，要一個專為 AI 設計、能承受鏈路與網路故障的多路徑、多平面傳輸協定，設計方向寫的是 10⁶ 個節點。最後的成員是 AMD、Broadcom、Intel、Microsoft、NVIDIA、OpenAI，規格以 OCP MRC 1.0 公開，API 放上 GitHub。

分工很清楚：Broadcom 傑出工程師（Distinguished Engineer）Eric Spada 自述是 OCP 提案的主要作者之一，負責講協定；OpenAI 技術團隊成員（Member of Technical Staff）Guohan Lu 負責講「我們每天面對不完美的網路」。前者是規格，後者是證據。

2. 拆解 RC 的三個問題：綁死、重放、等待

投影片把 RC 在 AI 規模的限制濃縮成三個詞：

綁死（Pinned）：一個 QP 經 5-tuple ECMP 雜湊後只走一條路，另一個平面完全閒置。
重放（Replay）：掉一個包就觸發 go-back-N，後面已送達的全部重傳。
等待（Wait）：故障復原要靠逾時與路由收斂。

▲ 傳統 RC 的三個限制：一個 QP 只走一條 ECMP 路徑、掉包觸發 go-back-N、故障要等逾時與路由收斂（圖片來源：OpenAI、Broadcom｜2026 OCP Global Summit 簡報（第 4 頁））

Spada 的補充很關鍵：頻寬延遲乘積愈大，在途資料愈多，go-back-N 的浪費就愈嚴重。速率從 400G 走向 800G、1.6T，這個問題只會變大，不會變小。

3. 拆解 MRC：應用看到的不變，底下全換

MRC 的設計原則是「對上保留、對下重做」。應用與集合通訊函式庫看到的仍是可靠傳遞、依序完成、熟悉的 QP/CQ 模型，API 直接沿用 libibverbs；亂序全部壓在 API 底下。

底下的機制有五個動詞：

噴灑（Spray）：一個 QP 同時接兩個埠、兩個平面，每個封包各自選一個熵值（EV）走不同路徑。
限縮（Bound）：接收端公告最大 PSN 範圍（MPR），發送端與接收端的狀態都被它框住，NIC 記憶體才不會爆。
選擇性復原（Recover）：用 SACK 告訴發送端「只缺 12 號」，只重傳一個包，不是 12 到 15 號全部重來。
控制（Control）：壅塞控制與負載平衡由發送端決定。
避開（Avoid）：壞掉的路徑直接剔除。

選路的方式有三種：傳統 ECMP 雜湊、把路徑寫在封包欄位的結構化 EV，以及 SRv6 uSID，把整條路徑編成 IPv6 微區段。投影片有一句話說得很準：source routing 不是讓路由協定變快，而是讓端點不再依賴它。路徑劣化時，NIC 只要「辨識、剔除、改選」，不必等全網收斂。

▲ MRC 用同一個熵值抽象涵蓋 ECMP、結構化 EV 與 SRv6 uSID，路徑劣化時端點直接剔除改選，不必等路由收斂（圖片來源：OpenAI、Broadcom｜2026 OCP Global Summit 簡報（第 6 頁））

一個實務限制在問答時被問出來：單一 IPv6 位址的 SRv6 編碼最多六跳，講者說目前的部署也守在六跳以內，協定本身不限制未來擴展。兩層網路沒問題，但要往更多層擴展，就得改格式。

4. 拆解生產數據：一台 T1 交換器無聲失效

這是整場最有價值的一段。Guohan Lu 說，這只是「一個小工作」：7.5 萬顆 GPU，跑在兩層網路上。某台 T1 交換器停止轉送，而且是最難處理的灰色故障（gray failure）：不報錯、不斷線，只是默默吃掉封包。

投影片數字如下（後三項為 STT 依第 13 頁曲線判讀）：

指標	數值
生產工作 GPU 數	7.5 萬
受影響的 QP	約 25%
掉包數	約 58 萬個
吞吐量基線	約 12.5 Pb/s（圖表判讀）
失效那一分鐘的取樣	約 10.5 Pb/s（圖表判讀）
交換器重開	失效後約 12 分鐘（圖表判讀；講者口述約 10 分鐘）

▲ 一台 T1 交換器失效：約 25% QP 受影響、約 58 萬個封包遺失，吞吐量只在一個分鐘取樣點下探，約 12 分鐘後交換器重開時工作仍在跑（圖片來源：Simple Tech Trend 自製，資料來源 OpenAI、Broadcom 2026 OCP Global Summit 簡報）

讀這張圖要注意兩件事。第一，約 16% 的下探是分鐘級取樣的結果（STT 依圖估算：由 12.5 到 10.5 Pb/s），Guohan Lu 說實際下探只在毫秒級，只是圖以分鐘為單位取點。第二，真正的比較對象不是「吞吐量少了多少」，而是講者說的：沒有這套傳輸協定，工作會停下，得回到檢查點處理。對 7.5 萬顆 GPU 的工作來說，每一次回到檢查點，都是整個叢集一起重跑。

▲ 訓練過程中 T1 交換器完全失效再重開，吞吐量只出現短暫下探，掉包率峰值約 0.00014%（STT 依圖判讀）（圖片來源：OpenAI、Broadcom｜2026 OCP Global Summit 簡報（第 13 頁））

換個角度算：12.5 Pb/s 除以 7.5 萬顆 GPU，平均每顆約 167 Gb/s 的實際網路吞吐（STT 估算，以圖表判讀的 12.5 Pb/s 計，非線速）。這個量級的工作，網路已經不可能「不壞」，只能「壞了不停」。

5. 智慧放哪裡：MRC 押網卡，交換器的要求降到最低

Spada 特別提到，MRC 對交換器的硬性要求很少，其中之一是 ECN 標記。ECN 同時用在兩個地方：調整整體速率，以及修正負載平衡的偏差。封包修剪是選配：交換器在擁塞要丟包時只保留標頭送到接收端，讓接收端立刻回 NACK，不必等逾時，也讓交換器可以用小得多的緩衝。

▲ MRC 把噴灑、限縮、選擇性重傳、壅塞控制與路徑剔除放在 NIC，交換器端的核心要求是 ECN，修剪與 SRv6 為選配（圖片來源：Simple Tech Trend 自製，資料來源 OpenAI、Broadcom 2026 OCP Global Summit 簡報）

壅塞控制有一個值得注意的細節。Spada 口頭說 NSCC（Network Signaled Congestion Control）是規格指定的演算法；投影片的寫法則是「MRC 標準化的是互通訊號，不是單一必要演算法」，NSCC 是「此實作採用」。規格鎖的是 SACK 裡的訊號格式，留給 NIC 廠差異化的是怎麼反應。

這和同屆大會 Meta 發表的 MetaRoCE 形成對照：MetaRoCE 只要求交換器支援 ECN 與 ECMP，投影片明說不用修剪。兩家都把智慧放進 NIC，差別在 MRC 多留了修剪與 SRv6 兩個和交換器配合的選項。乙太網陣營在 scale-out 的分歧，已經從「要不要多路徑」縮小到「交換器要配合多少」。我們在 2026 OCP APAC Summit｜乙太網開始吃 scale-up 談過 Broadcom 的乙太網路線，MRC 是同一套邏輯在 scale-out 的版本。

6. 風險與反面論點

修剪是否在生產環境開啟，沒有正面回答。被問到時，Guohan Lu 只說功能是「逐步推進到生產」。小緩衝交換器的好處，Spada 引用的是 UEC 的數據，不是 MRC 生產數據。
證據集中在一次事件。投影片只展示一次 T1 失效；平面級失效、多台同時失效、光模組大量 flap 的數據，要看 OpenAI 公布的論文。
source routing 需要知道拓撲。不需要控制器也能跑，但端點必須掌握「已知良好路徑」的集合；拓撲發現與監控的細節，OpenAI 留到另一場演講。
只解 scale-out 網路。MRC 繞開的是網路路徑與平面的故障；NIC 本身掛了，MRC 也繞不開（STT 判斷，演講未討論）。scale-up 光學承不承受得住 link flap，仍是另一個問題，Broadcom 在 2026 OCP APAC Summit｜Broadcom｜CPO 的第三代成績單交出的是元件端的可靠度數據，系統端還沒有對應的協定答案。
六個成員不等於六個實作。規格公開不代表 AMD、Intel、NVIDIA 的 NIC 都已出貨支援 MRC，互通測試的進度演講沒有提。

7. 對台灣供應鏈的意義

NIC 的戰略地位上升，受惠的是先進製程。MRC 把選路、重傳、壅塞控制都放進 NIC，成員中的 AMD、Broadcom、Intel、NVIDIA 都是 NIC 或交換晶片供應商，其中 Broadcom、NVIDIA、AMD 的網路晶片主要由台積電代工。協定愈複雜，NIC 的邏輯與 SRAM 需求愈高。
交換器端的要求變少，有利白牌交換器。MRC 對交換器的硬性要求很少，SRv6 又是在開源 SONiC 堆疊中普及。以 SONiC 白牌交換器為主力的台灣網通 ODM，門檻反而更低；但演講沒有點名任何代工廠，誰拿到 OpenAI 的訂單不能從這場推論。
多平面代表更多的埠與光模組，但單條鏈路的容錯要求放寬。一個 QP 跨兩個平面、每個平面多條路徑，網路可以承受整台 T1 失效。STT 判斷：對 scale-out 光模組，競爭重點可能更偏向成本與量，而不是單顆極致可靠度；scale-up 光學則不適用這個邏輯，演講本身沒有談光模組。

8. 總結

MRC 的價值不在任何一個新機制，SACK、封包噴灑、ECN 壅塞控制都不是新點子。它的價值在於把這些機制收進一個六家共同署名的開放規格，並拿出 7.5 萬顆 GPU 的生產數據證明「壞了不停」做得到。

時間要分開看：規格 1.0 與 API 已公開，OpenAI 說已在每天使用；修剪等選配功能仍在逐步導入，未確認已在生產開啟；OpenAI 以外的部署沒有公開數據。接下來 12 個月應觀察三件事：修剪在生產環境的開啟與成效、OpenAI 以外的生產部署數據、至少三家 NIC 的互通實作。三項到位，MRC 會成為多平面 scale-out 網路的預設傳輸層；只到第一項，它仍是少數超大規模業者的內部慣例。

網路不會不壞，MRC 賭的是：讓 NIC 學會繞路，比讓交換器永遠不壞便宜得多。

本文僅供技術與產業趨勢分析，不構成任何投資建議。