Google 於 11 月 9 日宣布擴充第八代 Tensor Processing Unit（TPU）產品陣容，新增 TPU 8tx 與 TPU 8i Max 兩款系統。連同 4 月公布的 TPU 8t 和 TPU 8i，Google 今年合共推出四款第八代 TPU 系統，分別針對大型 AI 訓練、低延遲推理、機密運算及超長上下文處理。根據 Google Cloud 官方資料，新產品亦配合多項軟件更新，改善企業部署 AI Agent 時的安全、記憶體及資源使用效率。
TPU 8tx 加強機密運算 處理敏感資料毋須跨叢集搬移
TPU 8tx 針對政府及受監管行業的機密推理需求，採用與 TPU 8t 相同的核心晶片，配合 AMD 主機處理器，在硬件層面保護使用中的敏感資料及模型權重。Google 指系統亦適合小規模訓練，可在同一環境微調私人模型、進行模型蒸餾及強化學習，避免為不同工作反覆搬移機密資料。
TPU 8tx 同時採用 TPU 8i 的 Boardfly 低延遲網絡架構。Google 表示，相比 TPU 8t，新系統的延遲最多減少一半，而機密運算引入的額外效能負擔接近零。這些數字屬 Google 提供的比較結果，並非所有企業工作負載均可達到相同改善；硬件保護亦不能取代企業本身的權限、審計及合規管理。
TPU 8i Max 整合雙晶片 記憶體頻寬提升一倍
TPU 8i Max 主要解決多個 AI Agent 同時分析龐大程式碼、文件或長時間影片時的記憶體瓶頸。Google 將兩枚 TPU 8i 晶片整合至單一封裝，使運算能力、片上 SRAM 容量及高頻寬記憶體（HBM）頻寬均達 TPU 8i 的兩倍。
據《Network World》引述 Google Cloud 技術簡報，TPU 8i Max 配備 384GB HBM、768MB SRAM，HBM 頻寬約每秒 17.2TB。Google 指新設計可在既有機架佔地提供更高運算密度，適合需要大量上下文及高併發推理的工作。兩款新系統屬於以既有 TPU 核心為基礎、調整封裝及周邊配置的專用系統，並非另外設計兩套全新晶片架構。
四款系統分工 訓練、推理與機密處理各有定位
Google 第八代 TPU 目前分為四款系統：TPU 8t 以大規模模型訓練為主、TPU 8i 專注低延遲推理、TPU 8tx 加強機密推理及私人模型訓練，而 TPU 8i Max 則優化超長上下文及高密度運算。Google AI 與基建高級副總裁兼首席技術專家 Amin Vahdat 表示，TPU 業務已累積接近 100 名客戶，包括 AI 研究機構、交易公司、零售商及大學，應用亦從 Google 自家模型延伸至雲端客戶與客戶自設數據中心。
▲ Google 第八代 TPU 產品陣容擴充至 4 款系統，分別針對大型模型訓練、低延遲推理、機密運算及超長上下文處理。
TorchTPU 與 Agent Compute Engine 降低部署及閒置成本
Google 同時擴充 TPU 的開源軟件工具。Google 已開源 TorchTPU，支援 PyTorch 及 Hugging Face 模型原生使用 TPU，並提供 vLLM、SGLang 等推理引擎的整合。處於預覽階段的 TPU agent suite 可配合 Claude Code、Cursor 及 Google Antigravity，協助開發團隊透過自然語言設定 TPU 環境和調校效能；XLA Serving Engine 則支援從 Python 模型訓練銜接至低延遲服務部署。
針對 AI Agent 經常需要等待外部工具、資料庫及人工批准的情況，Agent Compute Engine 可暫停閒置工作階段，並快速移走晶片上的工作記憶體，以釋放運算資源。Google 亦公布 TPU Sync 記憶體管理層，以及 Google Kubernetes Engine（GKE）動態分片正式推出，後者在官方比較情境下可將工作啟動速度提高最多五倍、故障恢復速度提高最多 4.5 倍。
企業選擇 AI 基建時，除了單一晶片效能，也需要考慮機密資料處理、模型遷移、記憶體容量及 Agent 在等待階段造成的資源浪費。Google 今次的產品與軟件更新，正是針對這些部署難題；但不同工作負載的實際成本效益，仍須根據企業採用的模型和運算環境評估。
