生成式 AI 可謂科技領域近年的必爭之地，而支撐其系統的大型語言模型（LLM）規模亦持續擴大。想加快推出開放模型服務，收購現有技術可算捷徑，Red Hat 近日便宣佈簽署收購 Neural Magic 的最終協議。這次收購將使 Red Hat 能夠在混合雲環境中實現高效能 AI 推論工作負載，並滿足客戶的特殊應用需求和數據要求。
Red Hat 總裁及行政總裁 Matt Hicks 表示：「無論企業的數據位於混合雲中的任何位置，AI 工作負載皆必須能正常運行。因此，靈活、標準化且開放的平台和工具成為必然所需，企業得以選擇最符合其營運和數據需求的環境、資源和架構。」
Neural Magic 於 2018 年從麻省理工學院（MIT）獨立出來，致力於建置企業級推論堆疊，以協助客戶於混合雲環境中優化、部署並擴展 LLM 工作負載，並能充分掌握基礎架構選擇、安全政策和模型生命周期。Neural Magic 亦進行模型優化研究，建置 LLM Compressor — 以先進的稀疏性（sparsity）和量化（quantization）演算法優化 LLM 的整合涵式庫 — 並且維護經預先優化、可運用 vLLM 即時部署的儲存庫。
Red Hat 期望結合 Neural Magic 的技術和效能工程專業，藉由 vLLM 的開源創新，突破大規模企業級 AI 的挑戰，讓開源授權模型涵蓋從 1B 到 405B 參數規模，無論是位於企業數據中心、多雲架構或是邊緣，皆可在混合雲環境中靈活部署，讓企業得以更安全輕鬆地，依據其私有數據和應用情境自訂 LLM。