2026 OCP Global Summit | Meta | Santosh Janardhan | Concrete to Code: Engineering AI Infrastructure at Gigawatt Scale

11小时前

讀畢需時 6 分鐘

1. 為何由基礎建設負責人來談「假設」

Janardhan 開場就把時間軸講清楚：2024 年 Meta 完成第一座真正大型的訓練叢集，超過 10 萬顆 H100、約 150 MW。模型結果不錯、scaling law 也成立，於是下一座叢集必須再大一個數量級。

Meta 本來就習慣規模，但 Janardhan 直說 AI 基礎建設是完全不同的限制條件。成果就是位於俄亥俄州 New Albany 的 Prometheus：超過 30 棟結構物、1 GW+，而且邊蓋邊訓練，Meta 當天發表的新前沿模型就是在這裡訓練出來的。

整場演講的骨架是四個假設，以及每一個被打破後 Meta 的對策：

▲ Meta 建 Prometheus 時打破的四個假設與對策：多棟網路、帳篷結構、中斷預算、容錯軟體（圖片來源：Simple Tech Trend 自製，資料來源 Meta 2026 OCP Global Summit 簡報）

大型專案的假設成立時一切簡單，不成立時才是真正的工程。

2. 拆解假設一：叢集不必在同一個屋頂下

Prometheus 不是一棟建築，而是 30 多棟形狀、大小不一的結構物。投影片標出的建築間距從 321 公尺到 3,800 公尺，再往外的示意圖畫出 5 公里、10 公里與 100 公里三個半徑。

問題出在物理。AI 訓練的速度取決於最慢的那一組 GPU 對話，而光在光纖中每公里約需 5 微秒。以最長的 3.8 公里計，單程約 19 微秒、來回約 38 微秒；一次訓練要做數百萬次來回，延遲就會累積成算力損失。再加上訓練網路必須無損（lossless），和網際網路的邏輯完全相反。

Meta 的解法是 BAG（Backend Aggregation）：把同一區域內各棟的 spine 串成一層乙太網 super-spine，在這一層放深緩衝來吸收無損需求，並採分散式設計、沒有單點故障，總頻寬達每秒數十 Pb。傳輸層則換成自研、已開源給 OCP 的 MetaRoCE。

▲ Prometheus 是跨多棟建築的 AI 訓練叢集，建築間光纖距離從 321 公尺到 3,800 公尺（圖片來源：Meta｜2026 OCP Global Summit 簡報（第 3 頁））

網路也是實體的。建築之間每一條管道都承載上千芯光纖，Prometheus 全區光纖總長約 300 萬到 400 萬公里，Janardhan 形容足以往返月球四次。這和我們在殺死慢而寬的不是物理，是六萬條光纖討論的瓶頸是同一件事，只是尺度從機櫃放大到園區。

同樣的限制也出現在機櫃內：銅線塞不下更多頻寬。Meta 因此做了光背板原型，在 Meta 攤位展出，條件是同樣的機櫃、同樣的維修方式、同樣的散熱，目標是頻寬提升一個數量級。

3. 拆解假設二：資料中心不必是鋼筋水泥

傳統資料中心的時程，Janardhan 的說法是：「你應該兩年前就來找我。」但上市時間不等人，Meta 於是回頭問一個根本問題：放伺服器到底需要多少建築？

答案是帳篷。Meta 和 Sprung Structures 合作，每座帳篷長度至少兩個美式足球場，建在大型混凝土基座上，依資料中心標準設計，可抗一級颶風。關鍵不在帳篷本身，而在「最小可行的資料中心」：散熱與電力剛好夠用，不多不少。結果是 3 到 5 個月上線，成本明顯更低。

▲ Prometheus 園區內的帳篷式資料中心，每座長度至少兩個美式足球場，3 到 5 個月上線（圖片來源：Meta｜2026 OCP Global Summit 簡報（第 11 頁））

以兩年對比 3 到 5 個月，建置週期縮短約 5 到 8 倍。這代表 GW 級園區的節奏，不再由營建決定，而是由電力、機櫃與網路設備的交期決定。

Meta 連混凝土都動手改：用 AI 工具重新設計配方，新配方碳排少 19%、養護快 43%、成本持平，工具與配方都已開源。

4. 拆解假設三：蓋好不等於能用

Janardhan 自稱是軟體出身，他把 AI 叢集定義為分散式系統問題。他的例子是：一個元件額定五年壞一次，堆一千個就會頻繁出事。STT 實際換算，1,000 個元件約每 1.8 天就有一個故障，10 萬個約每 26 分鐘，100 萬個約每 2.6 分鐘。他口頭說的「每幾週一次」其實是保守說法。

投影片展示的 NVIDIA GB200 整櫃系統（口頭稱重 15,000 磅、配三櫃散熱），加上同時更換的園區佈局、散熱、機櫃甚至混凝土，每個變數都在疊加複雜度。

Meta 的北極星是 每 8,000 顆 GPU 每天 2 次中斷。投影片的中斷趨勢圖顯示：

指標	數值
初期中斷率	每 8K GPU 每天 200 次以上
最新實測	約 4 到 5 次
改善趨勢	GPU-1 每週 5.5%、GPU-2 每週 5.9%
目標	2.0 次

▲ 把 Meta 中斷率換算到 10 萬顆 GPU：初期每 35 秒中斷一次，最新約 29 分鐘，達標後仍約每小時一次（圖片來源：Simple Tech Trend 自製，資料來源 Meta 2026 OCP Global Summit 簡報）

依趨勢線推算，從約 4 次降到 2 次還要約 11 到 12 週。Janardhan 口頭表示已經達標，並特別感謝供應商長期一起處理；但圖上最後的實測點仍在目標線之上，達標的是投影線。結論很清楚：在這個規模，只能為故障做規劃、建模、記錄、偵測與繞過。

5. 拆解假設四：軟體不是簡單的部分

帳篷、網路、可靠度問題，最後都要由軟體包成一台「看起來單一」的機器。Meta 的做法有三層：

容錯層同時感知模型、平行化與分區（model / parallelism / partition aware），出錯時繞過故障，只重跑受影響的部分
連續 checkpoint，回滾只需退回最近 5 到 8 秒
邊訓練邊擴充：新機櫃、新叢集上線後，在下一個 checkpoint 併入訓練，叢集就直接變大，研究員不需要感知

硬體中斷率降不到零，軟體則把每次中斷的代價壓到秒級，兩者相乘才是 GW 級叢集的有效算力。

6. 下一站 Hyperion：5 GW 的單一園區

Janardhan 坦言 Prometheus 同時改了太多變數，教訓會直接用在下一座。

Hyperion 位於路易斯安那州 Richland Parish，投影片寫的是未來幾年內 5 GW，單一地點，約 4,000 英畝。Janardhan 稱就他所知是全球最大的資料中心。從 2024 年的 150 MW，到 Prometheus 的 1 GW+，再到 Hyperion 的 5 GW，規模放大三十倍以上。

▲ Meta 兩座 Titan 級訓練叢集：Prometheus 1 GW+，Hyperion 未來幾年內 5 GW（圖片來源：Meta｜2026 OCP Global Summit 簡報（第 20 頁））

Meta 對產業的要求寫在「No one builds this alone」那張投影片：資料中心、網路、晶片與機櫃，每一層、每一階段都共同設計。Meta 在設計、營建、營運都採多夥伴組合，並要求成果回饋 OCP。Meta 和 Broadcom、AMD 在 OCI 200G 規格上的合作（見技術文章分析｜Meta、Broadcom、AMD 聯手定義 OCI 200G 線側規範）就是這種模式的例子。

7. 風險與反面論點

達標的是投影線，不是實測：中斷率最新實測約 4 到 5 次，距離 2 次仍有約一倍差距，而 Hyperion 會再換一批新變數。
帳篷的成本與壽命沒有數字：Meta 只說「便宜很多」，沒有給每 MW 成本，也沒有說帳篷結構的預期使用年限。
最小可行電力與散熱，代表餘裕更小：下一代機櫃功率若再上升，帳篷內的電力與散熱能否改造，演講沒有交代。
規模數字有口語成分：Hyperion 投影片寫「未來幾年」，並非一次上線 5 GW；Janardhan 用「半個曼哈頓」形容 4,000 英畝，實際約 16 平方公里，比例偏大。
電力來源完全沒提：5 GW 的供電與併網才是最大的時程變數，這場演講沒有觸及。

8. 對台灣供應鏈的意義

演講沒有點名任何台灣廠商，以下只就演講內容推導。

整櫃系統的評分標準在改變。Meta 用「每 8K GPU 每天中斷次數」當北極星，並感謝供應商長期一起追。台系 ODM 是 GB200 整櫃組裝與測試的主力，未來的競爭不只是交期與良率，而是出貨後的中斷率與問題收斂速度。
建置週期縮短，壓力移到設備交期。帳篷 3 到 5 個月就能上線，伺服器機櫃、電源與散熱設備若跟不上，就會變成整個園區的瓶頸。這對能快速交付整櫃與模組化電力、散熱方案的台廠是利多，但前提是產能跟得上。
光背板是值得追蹤的新品項。Meta 要求同機櫃、同維修、同散熱，等於光背板必須以現有機櫃規格為前提來設計，這和台灣的機櫃、線纜與連接器組裝能力直接相關。目前只是攤位原型，尚無量產時程。

這和 ECOC2026｜未來十年不會有技術革命，只有一場量產戰爭的判斷一致：GW 級的勝負取決於交付與可靠度，而不是單一元件的規格。

9. 總結

這場演講沒有新晶片、沒有新規格，卻是本屆 OCP 最能看清 hyperscaler 優先順序的一場。Meta 在乎的是兩個時間：從空地到上線要幾個月，以及上線後多久中斷一次。帳篷把前者從兩年壓到 3 到 5 個月，容錯軟體把後者的代價壓到秒級，剩下的差距要靠整櫃系統的中斷率繼續收斂。

接下來 12 個月應觀察三件事：中斷率實測是否真的降到每 8K GPU 每天 2 次、機櫃級光背板何時從原型進入導入、Hyperion 5 GW 的分期與供電時程。

當資料中心可以用帳篷在幾個月內蓋好，GW 級 AI 的瓶頸就不在混凝土，而在每一台機櫃能否穩定運轉。

本文僅供技術與產業趨勢分析，不構成任何投資建議。