6 月 5日是一年一度的世界環境日，今年的主題是「只有一個地球」。當前應對氣候危機、推進低碳轉型，已成為全球最迫切關注的議題，當中人工智能（AI）發揮的重要作用得到了廣泛認同。然而，高耗能的 AI 預訓練大模型正與全球可持續發展的趨勢相悖而行，這也是為何 AI 模型的能耗問題關係著 AI 的未來發展。
當下 AI 正成為推動人類社會發展以及引領新一輪科技、產業革新的重要驅動力。AI 在各個領域的應用已愈來愈廣泛，為社會經濟、民生均帶來了不少正面影響。
在我們今年初發佈的 2022 十大科技趨勢預測中，綠色能源 AI 便是其中一大趨勢。未來 AI 技術將可憑藉其精準計算和協調能力，為電網進行智能調度，助力大規模綠色能源消納。
AI 模型訓練能耗備受關注
然而， AI 預訓練大模型耗費的能源隨著模型規模的擴展而呈現指數級增長。根據馬薩諸塞大學阿默斯特分校研究人員的估算，訓練一個大型 AI 語言模型所產生的碳排放量，相當於一架波音 747 飛機往返舊金山和紐約市。早前亦有研究人員估算訓練 1,750 億參數語言大模型 GPT-3 的能耗，相當於一輛汽車從地球往返月球的碳足跡。
每個 AI 模型在投入實際應用之前，需透過大量數據，經過反覆的訓練及調整來提升其精確性。十年前這一過程還可於個人電腦上進行，但如今已愈來愈依賴專業的計算硬件。根據研究機構 OpenAI 的數據，人們於機器深度學習中所投入的計算量於 2012 年至 2018 年間增長了 30 萬倍。
綠色、低碳 AI 大模型
AI 算力提升的背後，是能耗和成本的顯著增加。以科技企業均在爭相開發的 AI 大模型為例，與傳統 AI 相比，這些大模型擁有成百上千倍「神經元」數量，認知和創造能力均更勝一籌，被普遍認為是未來的「基礎模型」。但大模型在訓練中所產生的能耗亦十分驚人。要實現 AI 大模型的規模化使用，必須著手解決這一問題。
正因如此，近年來我們一直致力研發綠色、低碳的 AI 大模型。我們相信，提升 AI 大模型的訓練效率，將成為推進 AI 低碳進程中邁出的關鍵一步。
AI 模型應用降本增效
大模型的算力成本高昂，往往令有意展開應用研究的業界人士及學者望而卻步。如何令企業可在資源有限的情況下，有能力訓練更高參數的 AI 模型，就需要推動多模態大模型發展。目前這種大模型已在國內多個商業化場景中得到廣泛應用，還可參與跨模態搜索、文案撰寫、圖片設計甚至智能製造等多類型的工作。
隨著人們對 AI 預訓練大模型需求的持續增長，AI 模型的複雜度逐年攀升，減低訓練 AI 模型的能耗，提升訓練效率，將成為未來 AI 領域的一大重點。事實證明，AI 可在基礎科學研究以及協助人們應對環境、社會議題等諸多方面發揮作用。未來我們亦將持續推動綠色 AI 模型的發展，促進 AI 技術為社會創造更多的價值。
撰文：達摩院人工智能科學家楊紅霞