Samsung 電子在美國聖荷西舉行的 OCP Global Summit 2026 公布下一代 AI 記憶體及儲存策略，並與 AMD 合作驗證 CXL 記憶體擴充技術。Samsung 另一項 CMM-D 記憶體池化測試顯示，與固定分配記憶體相比，動態分配可令 AI 推理產生首個 Token 的等候時間最多縮短 38%，達標吞吐量最高提升至原來 3.3 倍。
與 AMD 合作驗證 CXL 技術 記憶體容量可按需要共享
隨着 AI 智能體開始處理多步驟工作，系統需要保留更多對話內容及運算過程中的中間資料。Samsung 記憶體業務應用工程團隊副總裁沈浩俊在 10 月 12 日演講時指出，AI 推理所需的 KV Cache 容量持續增加。除了記憶體頻寬，容量擴充能力及資料管理亦會影響系統效能。
Samsung 與 AMD 合作驗證的 CXL 技術，讓系統透過高速互連擴充記憶體容量。Samsung 展示的 CMM-D 記憶體模組支援記憶體池化，讓多個工作負載按需要分配及共用記憶體資源，減少個別系統受固定容量所限的情況。
Samsung 另外以 GPU 伺服器運行多個大型語言模型實例，測試動態 CXL 記憶體分配。與固定配置相比，產生首個 Token 的時間（TTFT）最多縮短 38%，達標吞吐量（Goodput）最高達原來 3.3 倍。這些數字來自 Samsung 自行展示的測試，並非與 AMD 合作驗證所得的結果。
Samsung 同時公開內部實際部署結果。公司在美國園區利用 AI Memory Node 方案支援內部 AI 編程智能體及其他應用。採用可組合的記憶體層級後，KV Cache 利用率達原來 5 至 7 倍。不過這是 Samsung 在自家環境取得的數據，未能據此推算其他企業可節省多少成本。
HBM5 配合新一代 SSD AI 記憶體走向分層管理
Samsung 今次介紹的技術分為高速記憶體、容量擴充及資料持久儲存三個方向。高效能記憶體產品包括 HBM4E、HBM5、客製化 HBM 概念及 LPDDR5X-PIM，並配合 CXL 記憶體與企業級 SSD，處理不同類型的 AI 數據。
LPDDR5X-PIM 將部分運算工作移至記憶體內進行，減少資料往返傳輸。Samsung 在自家 Edge AI Accelerator 使用 Llama 3.1 8B 模型測試，聲稱每秒產生的 Token 數量最高達傳統 LPDDR5X 配置的 3 倍，執行時間方面的改善最高達 2.2 倍。相關結果只適用於官方列出的測試環境。
儲存產品方面，Samsung 展示採用 PCIe Gen6 的企業級 SSD PM1763，以及容量達 256TB 的 BM1773 QLC SSD。PM1763 的連續讀取速度最高達 28.4GB/s，Samsung 亦展示了針對液冷系統的配置。
Samsung 同時研究將部分 KV Cache 資料轉存至 SSD，透過記憶體與儲存裝置分層管理 AI 推理數據。相關方案包括整合 LMCache 軟件及改善 SSD 寫入管理，期望在記憶體容量有限的情況下，仍可支援更大型的 AI 工作負載。
由供應晶片走向共同設計 Samsung 擴大 AMD 合作範圍
Samsung 早於今年 3 月已擴大與 AMD 的合作。雙方當時簽署合作備忘錄，涉及 Samsung 為 AMD Instinct MI455X GPU 供應 HBM4，以及開發供下一代 EPYC 處理器和 Helios 機櫃級平台使用的記憶體方案。
今次 OCP 活動進一步將雙方合作延伸至 CXL 記憶體擴充及系統效能驗證。Samsung 表示會在產品開發初期與客戶共同設計，並結合記憶體、儲存硬件及軟件改良工作，將合作範圍由個別零件擴展至整個 AI 系統。
對計劃自行部署 AI 推理基建的企業而言，這類技術提供增加記憶體容量及改善資源使用率的途徑。不過 Samsung 公布的效能數據來自不同測試及內部部署環境，企業仍須按實際模型、同時使用人數、硬件配置及工作負載驗證效果。現有資料亦不足以估算整體持有成本或投資回本期。
資料來源：
Samsung Semiconductor 官方 OCP 2026 技術展示
Samsung 與 AMD 合作公告
Seoul Economic Daily
