Nvidia 透過 NVLink Fusion 把自家互連技術開放予更多晶片商採用，影響力由 GPU 伸延至整個機櫃，對手亦加快推出替代方案。Cornelis Networks 與 Delos Data 本周在美國聖克拉拉舉行的 AI Infra Summit 相繼宣布進軍縱向擴展網絡市場，Cornelis 發表開放架構 Active Compute Fabric（ACF），把可編程運算能力直接放進網絡，並完成 2.05 億美元融資。Delos Data 推出不綁定通訊協定的 Nonstop AI 數據介面系列，涵蓋 I/O 小晶片、近封裝光學模組與網絡介面卡，累計融資逾 1 億美元。2 家公司由規格、軟件到實體硬件分頭切入，傳統同押注 UALink 與 ESUN 等開放標準，縱向擴展網絡正由 Nvidia 一家主導，逐步走向多元供應。
縱向擴展網絡決定多少枚 GPU 可以化身成一台超級加速器
AI 數據中心的網絡大致分為 2 層，橫向擴展網絡負責把大量伺服器連成叢集，縱向擴展網絡則把同一機櫃甚至同一排機櫃內的加速器緊密相連，令它們共用記憶體、像單一晶片般運作，Nvidia 憑 NVLink 與 NVSwitch 把這個規模由 8 枚推進至 72 枚，再推至 576 枚 GPU，下一代 Rubin Ultra 平台會採用全新 Kyber 機櫃，把 576 枚 GPU 放進同一個縱向擴展網域。
NVLink Fusion 則把這套互連技術授權予第三方晶片，Qualcomm 與 Marvell 先後加入，Amazon 早前已確認下一代 Trainium4 晶片採用 NVLink Fusion，旗下 Annapurna Labs 更在 8 月成為 Nvidia 客製高頻寬記憶體技術 NVHBM 的首個合作夥伴。按目前安排，採用 NVLink Fusion 的客戶仍然要購買 NVSwitch 建立縱向擴展網絡，交換層始終留在 Nvidia 手上。
開放陣營規格先行，專用交換晶片仍在追趕
UALink Consortium 在 4 月發表 UALink 2.0 規格，加入每通道 200G 的實體層、網絡內運算及小晶片整合規格，可是 1.0 版晶片要到今年下半年才進入實驗室，產品最快 2027 年面世，聯盟主席 Kurtis Bowman 亦坦言要待約 2027 年 4 月推出的 3.0 版，才可以在效能與更新週期上與 Nvidia 看齊，Open Compute Project 在 3 月推出 ESUN 1.0，以乙太網絡作為縱向擴展網絡基礎，用 4 位元組的精簡標頭取代傳統 IP 與 UDP 標頭，參與企業由創始時的 12 間增至逾 175 間，連 Nvidia 本身也是創始成員之一。
專用晶片仍未面世，業界現階段主要把這些開放協定經標準乙太網絡交換器傳送，AMD 的 Helios 機櫃便以 Broadcom 102.4 Tbps 的 Tomahawk 6 交換晶片，連接 72 枚 Instinct MI455X 加速器上的客製 I/O 裸晶，HPE 已率先以 Juniper 交換器推出商用方案，每枚加速器的互連頻寬與 Nvidia 最新產品同樣為 3.6 TB/s，專用交換晶片方面，Astera Labs 的 320 通道 Scorpio X 交換器同時支援 NVLink Fusion 與 UALink，Upscale AI 亦計劃在第 4 季推出 UALink 交換晶片 SkyHammer，Synopsys 與 Cadence 亦在今屆峰會示範 UALink 控制器技術。
Cornelis 把運算搬進網絡，針對 GPU 等待數據的閒置時間
Cornelis 在 2020 年由 Intel 分拆，旗下 Omni-Path 技術原本為 Trinity 等超級電腦提供高效能運算橫向擴展網絡，今次發表的 ACF 則是公司首度進軍縱向擴展領域，ACF 屬開放架構，在 UALink 與 ESUN 之上再定義一套網絡內運算的基本能力，適用於不同廠商硬件，Cornelis 會在網絡介面卡與交換器內嵌入 RISC-V 核心執行這些工作。Nvidia 的 NVSwitch 早已支援 SHARP 技術，把集合通訊運算卸載到交換晶片，Broadcom 與 Cisco 亦有類似功能，ACF 的分別在於為業界訂立共同基準。
Cornelis 除了加速集合通訊外，目標還包括在多個對話之間儲存與取回模型狀態的 KV 快取卸載、減少混合專家（MoE）模型重複傳輸的專家分派、高效能運算常用的訊息傳遞介面（MPI）卸載，以及在網絡內完成檢查點以便訓練中斷後復原，公司按公開數據建模，估計一個 10 萬枚 GPU 的系統約有一半 GPU 時數花在等待數據，每年浪費約 16.8 億美元（約港幣 131.04 億元）運算資源與 500 GWh 電力，這個數字屬公司自行推算，實際成效仍待驗證。
硬件方面，CN5000 系列已經出貨，支援 800 Gbps 的 CN6000 系列正向客戶提供樣本，預計第 4 季擴大供應，可以同時運行 Omni-Path 與 RoCEv2，亦可配合 Broadcom Tomahawk 等第三方交換器使用。Qualcomm 正與 Cornelis 合作驗證機櫃級 AI 數據中心設計，本輪融資由 IAG Capital Partners 領投，該公司估計開放標準的 AI 縱向及橫向擴展網絡市場到 2030 年規模超過 550 億美元（約港幣 4,290 億元）。
Delos 以不綁定協定的小晶片拆解封閉組合
Delos Data 由前 Barefoot Networks 與 Intel 管理層創立，行政總裁 Ed Doe 認為數據中心最昂貴的閒置資產，就是等待網絡的 GPU、CPU 與加速器，公司因此從實體層入手，以參考設計形式提供整套數據介面藍圖，第一款產品是 I/O 小晶片，總頻寬超過 30 Tbps，按 Nvidia 慣用的雙向計法約 8 TB/s，比 Nvidia 與 AMD 最新加速器的 3.6 TB/s 高出一倍有多。這類小晶片必須與加速器封裝一併設計，實際落實時間取決於晶片商的整合進度，Delos 的優勢在於不限定 ESUN、UALink 或其他協定，大型雲端服務商可以直接授權其設計，把工程資源集中在 AI 運算核心。
此外也有整合主要光學供應商光學引擎的近封裝光學（NPO）模組，頻寬超過 10 Tbps，約相當於雙向 2.5 TB/s，功耗限制令 NVL72 這類機櫃級系統至今主要依賴銅纜互連，當規模由 72 枚 GPU 擴展至 576 枚甚至 1,152 枚、跨越多個機櫃，光學連接勢在必行。把光學元件直接封裝入加速器雖然可行，但任何一個光學模組故障都會牽連整枚晶片，NPO 的做法是機櫃內沿用銅纜，機櫃之間改用用戶可自行更換的光學模組，在頻寬與維修彈性之間取得平衡。
另外，他們亦推出 400 Gbps 以上的網絡介面卡，服務 CPU、快閃儲存及記憶體端點，承擔橫向擴展、前端存取與儲存網絡。3 款產品配合 Nonstop AI 軟件平台，按遙測數據在連線故障時即時改道，Nonstop AI 伺服器預計年底前送樣，投資者包括 Matrix、Playground、Socratic Partners 與同樣投資 Cornelis 的 IAG。
網絡由搬運數據走向參與運算，光學與協定中立主導下一階段
綜合今屆峰會各家廠商的發布，網絡內運算正由 Nvidia 的獨門功能變成業界基本要求，UALink 2.0、ACF 與 Astera Labs 的交換器都把集合通訊卸載列為標準配置，交換器與網絡介面卡將分擔更多原屬 GPU 的工作，小晶片授權模式則降低了雲端服務商自研加速器的門檻，NVLink Fusion 與 Delos 分別代表封閉與開放 2 條路線，前者以完整生態換取效能保證，後者以協定中立換取供應彈性。
光學互連會是另一個分水嶺，Nvidia 已在新一代交換器採用共同封裝光學，Delos 則押注可維修性較高的近封裝方案，2 種路線的可靠性與成本要到千枚 GPU 級縱向擴展網域普及時才見真章，開放陣營最大的挑戰仍然是時間，UALink 專用晶片要到 2027 年才大量出貨，Nvidia 則維持每年更新一代的節奏。
投資者願意向 Cornelis 與 Delos 投入逾 3 億美元，押注的正是這段差距可以逐步收窄。企業技術主管規劃未來 2 至 3 年的 AI 基建時，除比較加速器規格，也應把互連協定是否開放、GPU 實際使用率及光學升級路徑納入評估，避免網絡層成為日後轉換供應商的最大障礙。
來源：The Register
