AI 推理

DeepSeek 公開支撐旗下大型 AI 服務的 DeepInfer 推理框架，採用 Apache 2.0 授權，首階段支援 DeepSeek-V4.1-Flash、NVIDIA SM100 GPU 與華為 Ascend 950 NPU。框架涵蓋 MoE 平行推理、非同步排程及結構化輸出，但目前只開放離線推理；企業若要建成正式 API 服務，仍需整合 KV Cache、分階段服務及負載平衡系統，相關效能測試亦使用多達 64 張 GPU。由於測試硬件與實際負載未必相同，企業仍須自行量度效能、記憶體需求與維運成本。

阿里雲 (Alibaba Cloud) 發表 Aegaeon GPU 池化技術，在測試中成功節省 82% Nvidia H20 資源。此技術專注於「推理」階段成本最佳化，與 DeepSeek 的「訓練」突破不同。本文深入分析此技術如何在中美晶片制裁背景下誕生，以及企業決策者應如何利用此類 GPU 效率技術，降低 AI 營運成本。