技術文章分析 | 一個架構撐五代、長大 3600 倍：Google 親手拆解 TPU，與「光交換」這個隱藏功臣
- 6月20日
- 讀畢需時 6 分鐘
當年放話「ASIC 太死、追不上 DNN 演化」的人，現在大概不太想被翻舊帳。
Google 四位重量級作者——Norman Jouppi、Sridhar Lakshmanamurthy、Cliff Young，以及 RISC、TPU、ML 評測一路都在的 David Patterson——在即將登上 2026 年 7/8 月號 IEEE Micro 的文章裡，親手把 TPU v2 到 Ironwood（TPU 7）五個世代攤開來盤。結論只有一句話：架構幾乎沒動，系統卻長大了 3600 倍。
這篇對 STT 讀者真正的價值，不在「Google 又快又省」這種公關句，而在三件事：
1. 一個 2017 年定下的架構，怎麼撐過 Transformer、Diffusion 整個換血、還沒被淘汰； 2. OCS 光交換，是讓近萬顆晶片的機器活著、排得動、能分批上線的命門——而且它至今仍是 TPU 獨有； 3. 電力正式取代成本，成為新的天花板。perf/TCO 讓位給 perf/Watt，Google 還順手丟了一個新指標 CCI 出來。
1. 論文背景：這不是規格表，是一份「賭對了」的覆盤
TPU v1（2016）只是推論晶片，卻一口氣點燃整個產業——論文自己引用了那句吐槽：TPU v1「launched a thousand chips」（致敬特洛伊海倫那句「launched a thousand ships」）。Intel 四個月內砸數十億美元收掉 Nervana、Movidius，創投兩年內灌了約 30 億美元進上百家 DNN 晶片新創。
但真正的主角是 TPU v2——Google 第一台訓練超級電腦，2017 年就部署。這篇論文論證一件反直覺的事：領域專用架構（DSA）最大的風險是「設計到量產要 2–3 年，做出來時 DNN 早就變了」，而 TPU v2 的微架構卻一路用到 Ironwood，沒被換掉。
2. 核心問題：工作負載換了三輪，為什麼架構不用換？
這張圖是整篇的「立論基礎」：底下的工作負載被換血了三輪，上面的硬體架構卻能不動。 這意味著 TPU v2 當初押的賭注，押在了「DNN 的最大公因數」上，而不是當下最紅的那個模型。
3. 架構穩定的本體：兩顆大核、systolic array、BF16
論文點出 TPU v2 當初做對的幾個關鍵決定：
只用兩顆大核（TensorCore）： 在「一顆超大核的長走線延遲」與「一堆小核要靠軟體拼起來」之間取平衡。論文末尾搬出 Cray 名言——「要犁田，你要兩頭壯牛，還是 1024 隻雞？」
MXU 用 systolic array（脈動陣列）： v2 是 128×128 乘加陣列，一個 cycle 吐 32,768 次運算，後來幾乎被所有加速器抄走。
BF16，第一個敢偏離 IEEE 浮點標準的 DNN 加速器： 判斷對 DNN 而言「動態範圍比精度重要」，指數位（8 bits）第一次大過尾數（7 bits）。後面的 FP8、FP4 全跟著走。
編譯器控管記憶體階層： 靠 DMA + scratchpad SRAM，而非 CPU 式 cache，行為可預測、可重現。
這四點，加上 HBM 當主記憶體、用 ICI 客製連結組成超級電腦、用向量單元處理非矩陣運算，就是論文結尾列的六大關鍵決定。
4. 規模：8 年內，幾乎每個維度都翻了一到三個數量級
以 v2 為基準，把這張表榨乾：
單顆 HBM 容量／頻寬 ~10x： 16 GiB／700 GB/s → 192 GiB／7300 GB/s
單顆峰值算力 ~100x： 46 BF16 TFLOPS → 2307 BF16（或 4614 FP8）TFLOPS
超級電腦節點數 36x： 256 → 9216 顆
全機共享 HBM ~400x： 4 TB → 1.77 PB（AI 超級電腦新紀錄）
perf/Watt ~30x；全機峰值算力 ~3600x
那個 3600x 換算下來是接近 100% 的年複合成長率，而且是在 Dennard scaling 早死、Moore's Law 熄火的年代做到的。論文說得直白：TPU 跨過了所謂的「加速器牆（Accelerator Wall）」。
5. 演化的真相：永遠四顆 TPU 一板，變的只有規模
看不到的，是從風冷（v2）跳到液冷（v3 起一路至今）。論文特別強調：Google 從 2018 年 TPU v3 起訓練就全面液冷、再也沒回頭。
微架構演進幾乎全是「同一個東西變大、變多」：MXU 從兩個 128×128 長到四個 256×256（bf16）外加四個 512×512（FP8）；Ironwood 甚至在 MXU 裡塞了冗餘列救良率。
6. STT 重點段：OCS 光交換——這台機器的循環系統
論文明說，到目前為止只有兩項創新仍是 TPU 獨有：OCS 與 SparseCore。 對一個天天在談 CPO、Optical I/O 的產業，這是容易被忽略的提醒：光，不只在晶片邊緣贏，在系統互連這一層也已實裝多年。
機制重點：
TPU v4 是第一台用 OCS 的超級電腦： 基於 3D MEMS 微鏡、毫秒級切換，本質上在 ICI 之下墊了一層「實體層光交換」，可繞過故障。
為什麼 4×4×4 = 64 顆一個 cube？ 3D Torus 下立方體對分頻寬最好；64 顆晶片加 16 台 CPU 主機剛好塞進一個機架。
OCS 帶來的不是「比較快」，而是整台機器的可運維性：
可用性： 故障在實體層繞掉、重建 3D Torus。Ironwood 有 2304 台 CPU 主機——沒有 OCS，主機可用率得逼到 >99.9% 才撐得住整片 goodput。
排程： 有 OCS 可從整台機器任意挑兩個 cube。這就是為什麼 Ironwood 是 9216（9K）而非 2 的次方——能同時跑四個 2K slice 任務、還留 16 個備用 cube。
分批上線： v3 要等全部 1024 顆裝好測完才能用；v4 起每個機架獨立，64 顆裝好就投產。
單層網路： 維持整片 pod 一張單層網路，壞了就抽換。
若沒有 OCS，替代方案得在每機架塞備用 TPU 與獨立 crossbar 交換器，可能吃掉近一半的機架空間。
STT 觀點： 這段把「光交換」從加分項，講成了訓練 fabric 的循環系統。當市場眼睛全盯著 chip-edge 的 CPO，Google 提醒大家——系統層的光交換，它已默默吃了五年紅利。
7. 韌性的硬體化：Ironwood 把「抓爛晶片」做進矽裡
訓練超級電腦最怕的不是當機，是靜默資料損毀（Silent Data Corruption，SDC）。過去靠軟體健檢，Ironwood 把它推進硬體：
FBIST（功能性內建自我測試）： 整合在 MXU 裡，在製造、燒機、運行中跑高覆蓋率測試，攔截「結構測試過關但其實有瑕疵」的晶片。
VPU 硬體 replay 單元： 利用 VLIW 既有閒置槽，把奇數 lane 運算丟到偶數 lane 重跑比對——零效能損耗、功耗可忽略，抓到壞單元就用 OCS 即時下線送修。
數字感：Google 用同步資料平行，把多座 8960 晶片的 v5p pod 跨多個資料中心訓 Gemini 2.5，goodput 達 93%（v4 上訓 Gemini 1.0 是 97%）。
8. 新天花板：電力，不是成本
論文引 Vahdat 等人的主張：新資料中心越來越難拿到足夠電力，所以「每瓦效能」現在比「每 TCO 效能」更受重視。 Ironwood 的 29.3x 裡，光是 v5p→Ironwood 一代就貢獻約 6x。
9. 把碳也算進去：CCI 這個新指標
perf/Watt 只管運營排放，管不到內含碳。Google 因此提出 CCI（Compute Carbon Intensity，運算碳強度）：每個有效浮點運算排放多少 CO2e，且 總 CCI = 運營 CCI + 內含 CCI。反直覺點在於：新 TPU 更耗電、單顆內含碳更高，但因為快太多、跑的秒數更少，攤下來每次浮點運算的碳反而更低。 三代裡運營碳都約佔總碳 75%（手機剛好相反，87% 是內含碳）。
10. 結論宣判：這篇論文在技術史上的定位
論文最後把六個「賭對了」的決定按重要性排序：
systolic array 做矩陣乘法
重範圍、窄位元的浮點（BF16／FP8／FP4），而非重精度、寬位元的 IEEE 浮點
HBM 當主記憶體
客製化高速連結（ICI）把加速器組成超級電腦
用 DMA + scratchpad SRAM 由軟體控管記憶體階層，而非 CPU 式 cache
用向量單元處理非矩陣運算
作者大膽類比：1960 年代 CPU 收斂到「微碼、向後相容、cache」（IBM 360 開路），1990 年代才轉向超純量亂序（Pentium Pro）。他們賭，上面這六點會是 2020 年代訓練加速器的定義特徵。
STT 給這篇的定位： 這不是規格炫耀，是一份「架構紀律」的教材。核心啟示只有一句——押在最大公因數上，別押在當下最紅的那個模型上。 而對光通訊產業，它順手蓋章：光交換在 AI 訓練 fabric 裡，是已實裝、難取代、且至今獨有的基礎建設。
留言