2026 OCP Global Summit | Meta、AMD | Arvind Srinivasan、Sandeep Nagaraja、Balakrishnan Raman | MetaRoCE: Rethinking RDMA for the AI

16小时前

讀畢需時 7 分鐘

1. 為何 Meta 要自己重寫 RDMA 傳輸層

Meta 這場 Expo Hall 演講只有 17 分鐘，但講的是整個 AI 網路最底層的一件事：RoCEv2 撐不住現在的叢集規模。

投影片給的背景很直接：AI 叢集現在是數十萬顆加速器、跨多座資料中心與區域，設計目標是一百萬顆；從 2024 到 2030 年，網路連接的加速器數量約成長 10 倍。All-Reduce 與 All-to-All 這類集合通訊，速度由最慢的節點決定。Meta 講者 Arvind Srinivasan 的比喻是：集合通訊像行軍，整個隊伍只能跟最慢的士兵一樣快。

RoCEv2 的老問題大家都知道：要靠 PFC 做無損網路，遺失封包就 go-back-N 重傳，一條連線走一條 ECMP 雜湊路徑。規模一大，PFC 的死結風險、重傳的頻寬浪費、雜湊碰撞造成的熱點，全部一起冒出來。

乙太網這兩年正在從 scale-out 往 scale-up 吃（見 2026 OCP APAC Summit｜乙太網開始吃 scale-up），但 scale-out 這一層的傳輸協定，其實一直沒有被好好改寫。MetaRoCE 就是 Meta 的答案，三個目標寫在投影片上：網路效率大於 90%、跨多平面透明容錯、在通用乙太網上運作並保留完整的 verbs 相容性。

2. 拆解設計取捨：交換器只要 ECN 與 ECMP

MetaRoCE 最值得注意的不是加了什麼，而是拒絕了什麼。投影片列出兩組架構決策：

只用通用乙太網交換器：只要 ECN 與 ECMP，不要 trimming、自適應路由或網內遙測。Meta 的理由是 trimming 同時增加交換器與 NIC 的複雜度，而選擇性確認（SACK）不需要這兩者就能偵測遺失。
PFC、go-back-N 與重排緩衝都無法擴展：PFC 的緩衝餘裕隨距離增加、大型網路有死結風險；go-back-N 浪費頻寬；NIC 上的重排緩衝要用 SRAM，而且隨頻寬延遲乘積（BDP）一起長大。

Meta 的替代方案是一句話：排序的是完成通知，不是封包送達（order completions, not delivery）。封包亂序到達時直接寫進目的記憶體的正確位置，應用程式只需要看到依序完成的訊息，NIC 不需要任何重排緩衝。

▲ RoCEv2 與 MetaRoCE 的設計取捨：無損網路、go-back-N、單一路徑與依序送達，全部換成容忍遺失、選擇性重傳、多路徑噴灑與亂序放置；交換器只剩 ECN 與 ECMP（圖片來源：Simple Tech Trend 自製，資料來源 Meta、AMD 2026 OCP Global Summit 簡報）

這和 UEC（超乙太網聯盟）的路線有明顯差異。UEC 1.0 規格同樣支援封包噴灑與亂序送達，但把封包修剪列為交換器可選功能；NVIDIA Spectrum-X 則依賴交換器端的自適應路由。MetaRoCE 是三者之中對交換器要求最低的一個，代價是 NIC 要扛下所有判斷。

3. 拆解多路徑：一個 QP、多條路、各自的窗口

MetaRoCE 的基本單位叫路徑（path）。應用程式送出訊息後，協定把它切成多個 MTU，噴灑到所有可用路徑上；每條路徑有自己的路徑窗口（PWND）與 RTT 量測，QP 的總窗口是所有路徑窗口的加總（QWND = ΣPWND）。

這個設計帶來三個效果：

壅塞只影響單一路徑：收到 ECN 標記或偵測到 N 個封包遺失，只對那條路徑做乘法遞減，其他路徑不受影響；任何路徑上的 ACK 都能觸發加法遞增。
加路徑不會變得更激進：要更多頻寬就加路徑，但因為每條路徑各自受控，總體對網路的侵略性不會因此上升。
一個 QP 承載多條串流：現在的應用程式常開多個 QP 來湊頻寬，結果 QP 之間互相干擾，壅塞控制變得很難處理。MetaRoCE 改成多條串流共用一個 QP，多路徑交給底層處理。

▲ MetaRoCE 以路徑為基本單位，每條路徑有自己的窗口與 RTT，QP 總窗口為各路徑加總；路徑失效時啟用新路徑接手（圖片來源：Meta｜2026 OCP Global Summit 簡報（第 6 頁））

另一個關鍵是接收端提示（RCN, Receiver rate hints）。多個發送端同時打向同一個接收端的 incast 情境，接收端最清楚自己會收到多少流量，所以由它監看有多少 QP 正在接收、有多少接收緩衝已經備妥，再透過 ACK 回傳速率提示。投影片的例子是每個發送端提示 200 Gbps。

4. 跨園區：同一張 NIC 同時跑 scale-out 與 scale-across

這是整場最具量化意義的一張投影片。AMD 講者 Balakrishnan Raman 展示同一張 NIC 同時處理兩種連線：

項目	Scale-out（同一棟）	Scale-across（跨園區）
RTT	5 至 15 微秒	毫秒等級，約 50 至 100 倍
最大壅塞窗口	約 75 個封包	3,500 至 7,000 個封包
最大路徑數	約 12 條	約 30 至 50 條
效能	線速	線速

註：封包以 4K MTU 計；投影片示意圖中的跨園區 RTT 為 1.5 毫秒。

▲ 同一套 AMD AI NIC 同時處理 RTT 5–15 微秒的 scale-out 與 RTT 達毫秒等級的 scale-across，後者以 30–50 條路徑撐到線速（圖片來源：Meta、AMD｜2026 OCP Global Summit 簡報（第 9 頁））

講者的說法是：路徑窗口有上限，要填滿更長的 RTT，就動態開更多路徑。1.5 毫秒的 RTT，以光纖每公里約 5 微秒換算，大約是單程 150 公里。Meta 把跨園區訓練當成同一個傳輸協定要處理的常態，而不是另一套 DCI 方案。

5. AMD 的實作：可程式化 AI NIC 把協定寫成軟體

AMD 的角色不是代工，而是第一個硬體實作。投影片上的 AMD 可程式化 AI NIC 有兩組 P4DMA 管線（Tx／Rx PDMA）與兩組 P4NET 解析／組裝器，中間共用封包緩衝，對外是 800 Gbps 上行與 PCIe Gen6 主機介面。投影片沒有點名型號，但 800G 與 PCIe Gen6 的組合，和 AMD 已公布的 Pensando Vulcano 規格相符。

Raman 強調三件事都是「軟體實作、可依部署調整」：

壅塞控制是框架：內建基準演算法與 RCN 之外，可透過可程式化覆寫掛上自訂演算法。
接收端判斷亂序原因：能分辨亂序是來自噴灑還是遺失，只有真的遺失才通知發送端，避免不必要的重傳。
多平面分流：流量平均分配到所有平面與平面內的路徑，任一平面失效就切到其他平面。

我們在法說精華：AMD｜Q2 FY2026（Helios）談過 AMD 的機櫃級布局，這次 MetaRoCE 等於替 AMD 的 NIC 拿到一張 hyperscaler 協定的首發門票。

6. 實測數字：小訊息快 25%，大訊息收斂

Meta 的 Sandeep Nagaraja 公布兩組數據。第一組是實驗室裡 8×100G 的多平面 FPF 網路，8 個平面彼此分離：

8 個 QP 單向約 800 Gbps、雙向約 1,520 Gbps，訊息大小約 32KiB 起就達到平台。
拔掉一個平面後，吞吐量從約 790 Gbps 降到約 670 Gbps，大約少了八分之一；講者表示故障偵測在一秒內完成，恢復後其他路徑沒有連帶影響。

▲ 8×100G 多平面網路上，MetaRoCE 單向約 800 Gbps、雙向約 1,520 Gbps；單一平面失效時吞吐量降約八分之一並在恢復後回到原水準（圖片來源：Meta｜2026 OCP Global Summit 簡報（第 11 頁））

第二組是 64 顆 GPU 的集合通訊完成時間，以 RoCEv2 為基準：

▲ 64 GPU 集合通訊完成時間對 RoCEv2 的差異：All-Reduce 小訊息快約 25%，GiB 等級收斂到個位數；All-to-All 多數區間快 14–21%，但有數個訊息大小反而變慢（圖片來源：Simple Tech Trend 自製，資料來源 Meta 2026 OCP Global Summit 簡報（數值由圖表目視讀取，為近似值））

數字要分開看。All-Reduce 全區間都比 RoCEv2 快，8B 到 32KiB 快約 21% 到 27%，1GiB 以上只剩 3% 到 11%。All-to-All 就沒那麼漂亮：128B 到 512KiB 快 14% 到 21%，64MiB 快約 29%，但 0B 慢約 19%、1MiB 慢約 16%、32MiB 慢約 10%，8GiB 以上也慢 6% 到 8%。講者把優勢歸功於用接收端驅動的封包排程取代 PFC，避免端點的 incast 壅塞。

7. 風險與反面論點

測試規模太小：64 顆 GPU 與 8×100G 實驗網路，距離 Meta 自己說的數十萬顆還差三到四個數量級；真正的考驗是 incast 與多平面在萬卡以上的行為。
All-to-All 有退步區間：MoE 模型的專家並行高度依賴 All-to-All，1MiB 與 32MiB 這類中段訊息變慢，演講沒有解釋原因。
窗口數字對不太起來：講者說路徑窗口上限固定、靠增加路徑撐 BDP，但投影片上路徑數只增加約 3 到 4 倍，總窗口卻放大約 50 到 90 倍；細節要回到規格書才能確認。
NIC 負擔變重：交換器變簡單，代價是 NIC 要扛下每條路徑的狀態、亂序放置與壅塞判斷。可程式化管線能做到線速，但 ASIC 化之後的面積與功耗沒有公開數字。
標準分裂：UEC 已經發布規格，MetaRoCE 又開了一套。若其他 hyperscaler 不跟進，NIC 供應商要同時支援 RoCEv2、UEC 與 MetaRoCE，驗證成本會上升。

8. 對台灣供應鏈的意義

交換器端的規格門檻不升反降。MetaRoCE 只要 ECN 與 ECMP，不需要 trimming 或自適應路由，對以通用交換器晶片做白牌交換器的系統廠是好消息：Meta 不會因為傳輸協定升級而綁定特定交換器功能。
價值往 NIC 集中，但 NIC 晶片沒有台廠。可程式化 NIC 的主角是 AMD，競爭者是 Broadcom 與 NVIDIA；台灣的位置在 NIC 板卡與伺服器整合，要看的是 800G、PCIe Gen6 NIC 的出貨量，而不是協定本身。
多平面代表連線數倍增。8×100G 多平面把一張 800G NIC 拆成 8 條獨立的 100G 連線、接到 8 個不同平面，交換器埠數與光纖數量隨之放大；這對光纖管理、扇出線材是增量需求，但演講沒有提到具體的光學配置，規模仍待確認。
跨園區是光通訊的長線題目。同一個協定處理毫秒等級 RTT，代表跨園區訓練會成為常態，DCI 頻寬需求會跟著 AI 叢集一起放大；這部分要等 Meta 公布實際部署距離與頻寬，目前只能當方向看。

9. 總結

MetaRoCE 的意義不是又一個 RDMA 協定，而是 Meta 把 AI 網路的分工重新畫了一次：交換器只負責轉發與標記，所有聰明的判斷都放在 NIC。這和 Meta 一貫的打法一致：硬體越通用越好，差異化寫在可以開源的軟體裡。

但數字要誠實看。64 GPU 規模下，All-Reduce 小訊息快約 25% 是實打實的，All-to-All 的退步區間則還沒有解釋。Meta 自己也知道這不夠，所以把規格、參考實作與合規測試全部開源，邀 NIC、DPU 與交換器廠自己去驗證。接下來 12 個月該觀察三件事：第二家 NIC 供應商何時公布 MetaRoCE 實作、Meta 何時公布萬卡以上的生產數據、MetaRoCE 與 UEC 是收斂還是分裂。

交換器越笨、網卡越聰明，這是 Meta 對 AI 網路下的注；而它押注的方式，是讓每一家 NIC 廠都來照它的規格考試。

本文僅供技術與產業趨勢分析，不構成任何投資建議。