中國 AI 公司 DeepSeek 於 10 月 20 日將內部使用的高效能 AI 推理框架 DeepInfer 正式開源，採用 Apache 2.0 授權，容許企業及開發者使用及修改。DeepSeek 表示這套框架是旗下大規模 AI 服務的核心技術，但目前公開版本主要提供離線推理能力，企業仍須整合其他系統才能建立完整線上 AI 服務。
整合多 GPU 平行推理技術 降低大型模型運算開支
DeepInfer 首階段支援 DeepSeek-V4.1-Flash 模型，整合 FlashMLA、DeepGEMM、DeepEP、DeepSelect 及 TileLang 等運算核心，同時提供模型執行及取樣管理功能。框架支援多種分散式推理技術，包括 Attention Data Parallelism（DP）、Context Parallelism（CP），以及混合專家模型（MoE）使用的 Expert Parallelism（EP）和專家負載平衡（EPLB）。
這些技術讓系統在多張 GPU 之間分配注意力運算、長上下文處理及專家模型工作，改善大型模型推理時的硬件使用效率。框架亦採用非同步排程，讓 CPU 處理批次請求的工作與 GPU 執行運算重疊，減少排程造成的等待時間。
DeepInfer 亦加入名為 DSpark 的推測式解碼機制，先產生候選 Token，再按信心評估安排驗證工作，預設最多可預測 5 個後續 Token。系統另有 Sliding Window Attention（SWA）限定範圍重播機制，減少解碼期間重複處理的上下文內容。
DeepSeek 在 9 月推出的 V4.1-Flash 是總參數達 5,520 億的 MoE 模型，輸入階段啟用約 80 億參數，輸出階段則啟用約 160 億參數。DeepSeek 指新模型所需 KV Cache 的 HBM 容量只有上一代的四分之一，SSD 儲存需求則降至八分之一。這些節省主要來自模型架構改動，不能直接全部歸功於新開源的 DeepInfer 框架。
支援 NVIDIA SM100 及華為 Ascend 950 效能測試涉及 64 張 GPU
硬件支援方面，DeepInfer 目前指定支援 NVIDIA SM100 架構 GPU，以及華為 Ascend 950 NPU。NVIDIA 平台需要 CUDA 13，華為平台則需要 CANN 9.2。其他基本環境包括 Linux、Python 3.12 及 GCC 13 或以上版本。
DeepSeek 公開的效能測試分別使用 4 張 NVIDIA SM100 GPU 執行 Prefill，以及 64 張 GPU 執行 Decode，兩組測試均在各自的單一高速互連運算域內進行。官方提供測試程式及相關設定，讓開發者在適當硬件上重現測試。
由於測試採用大型 GPU 配置，相關結果不能直接用來推算較小型企業伺服器的推理成本或延遲表現。官方公開資料亦未提供足以直接比較 NVIDIA 與華為平台的同條件效能數字，企業評估跨平台部署時仍需自行測試。
DeepInfer 的其他功能包括 Batch-invariant Inference，可在不同批次組合下維持一致運算結果，以及使用固定隨機種子的 Deterministic Sampling。後者需要配合特定設定，包括停用部分可變長度推測式解碼功能，目前這兩項可重現性功能均限 NVIDIA 平台支援。
框架同時支援以 Regex、JSON Schema 或 EBNF 語法限制生成內容格式，有助企業將模型輸出接入需要固定資料結構的應用系統。
開源版本仍欠完整服務系統 企業需要自行整合 KV Cache
DeepInfer 雖然源自 DeepSeek 正式營運的推理技術，但 GitHub 文件明確指出，本次公開的框架尚未包含完整推理服務所需全部組件。
企業需要另外建立 KV Cache 管理系統，並整合視覺編碼（VE）、Prefill 及 Decode 分階段處理的服務架構。跨資料平行副本的請求負載平衡亦未包括在這次發佈內。DeepSeek 表示大部分相關引擎功能已經實作，但仍需要外部服務系統將各部分連接。
原始程式碼內亦未包括完整網上服務介面。因此企業即使成功編譯 DeepInfer，亦不能直接將其視為已具備 HTTP API、身份驗證及完整請求管理能力的推理平台。
DeepSeek 在官方文件中表示 DeepInfer 最初主要建基於開源推理框架 vLLM，同時參考 SGLang 及 TensorRT-LLM 的技術設計。這次公開讓開發者可以研究 DeepSeek 在模型運行、GPU 排程及分散式運算方面的實際實作方法。
對準備自行託管 DeepSeek 模型的企業而言，Apache 2.0 授權減少了使用及修改程式碼的授權限制，但正式部署成本仍取決於 GPU 配置、快取系統、網絡互連及後續維運工作。DeepInfer 目前只支援單一 DeepSeek 模型，企業如需要同時服務多個不同模型系列，亦須考慮現有推理平台的相容性。
資料來源：
DeepSeek DeepInfer 官方 GitHub
DeepInfer 測試及部署範例
DeepSeek-V4.1-Flash 官方公告
