Meta 開源 AITemplate 系統加速人工智能推論技術發展

人工智能技術之中,除了訓練之外推論(Inference)也是另一個相當重要的範疇,不過發展速度仍然有待提升。為了加速發展,Meta 最近開源了自家 AITemplate 系統,讓更多廠商可以加入開發。

Meta 的 AITemplate 系統(AIT)是類似 Nvidia TensorRT 的人工智能推論引擎,不過就同時支援 Nvidia TensorCore 和 AMD MatrixCore,可以作為通用的軟件層,提供更靈活、開放和節電的 AI 推論應用。目前人工智能推論引擎大部分都只能在特定硬件上使用,對於同時使用不同品牌硬件的企業而言,就需要針對不同的硬件來處理軟件部分,AIT 的出現就是希望可以解決這個問題,現在更基於 Apache 2.0 許可開放源碼,有助提升整個行業的創新步伐。

Meta 工程總監 Ajit Mathews 表示,他們首先完成模型架構,然後會努力融合和改善這個架構特有的不同層級和操作,未來除了 Nvidia 和 AMD 之外,也可能會加入 Intel GPU 的支援。他表示:「我們看到目前和未來的許多推論負載都有機會受惠於 AIT。它作為性能最強的統一推論引擎,亦有可能被廣泛採用。」

來源:VentureBeat