中國開發團隊提出以百億級超級電腦訓練的大腦規模模型

人工智能的效能向來與用於訓練的參數成正比，最近有中國團隊提出以新一代超級電腦進行大腦規模的模型訓練，嘗試結合人工智能和高效能運算的算法和系統。

來自清華大學、北京智源人工智能研究院和阿里巴巴等機構的研究團隊最近發表了一篇新的論文，當中講述如何使用新一代百億級（Exascale）神威超級電腦訓練大腦規模（Brain Scale）的人工智能模型。這個名爲 BaGuaLu（八卦爐）的系統是首個採用類似規模的超級電腦訓練巨型人工智能模型的嘗試，結合人工智能應用和 HPC 系統架構，最佳化其效能，令製作有多達 14.5 萬億個參數的預先訓練語言模型成為可能。

論文表示，其混合精準度超過 1 Exaflop，雖然這不會成為傳統意義上的超大規模運作負載，但也是展現了軟硬件設計融合的概念，對於未來發掘超級電腦和人工智能訓練之間互相組合的可能性，帶來新的意念。研究人員表示，按照目前的運算能力來說，就算要訓練有 174 萬億個參數的模型也是有可能的。