如何減低 AI 研發的碳足跡?

6 月 5日是一年一度的世界環境日,今年的主題是「只有一個地球」。當前應對氣候危機、推進低碳轉型,已成為全球最迫切關注的議題,當中人工智能(AI)發揮的重要作用得到了廣泛認同。然而,高耗能的 AI 預訓練大模型正與全球可持續發展的趨勢相悖而行,這也是為何 AI 模型的能耗問題關係著 AI 的未來發展。

當下 AI 正成為推動人類社會發展以及引領新一輪科技、產業革新的重要驅動力。AI 在各個領域的應用已愈來愈廣泛,為社會經濟、民生均帶來了不少正面影響。

在我們今年初發佈的 2022 十大科技趨勢預測中,綠色能源 AI 便是其中一大趨勢。未來 AI 技術將可憑藉其精準計算和協調能力,為電網進行智能調度,助力大規模綠色能源消納。

AI 模型訓練能耗備受關注

然而, AI 預訓練大模型耗費的能源隨著模型規模的擴展而呈現指數級增長。根據馬薩諸塞大學阿默斯特分校研究人員的估算,訓練一個大型 AI 語言模型所產生的碳排放量,相當於一架波音 747 飛機往返舊金山和紐約市。早前亦有研究人員估算訓練 1,750 億參數語言大模型 GPT-3 的能耗,相當於一輛汽車從地球往返月球的碳足跡。

每個 AI 模型在投入實際應用之前,需透過大量數據,經過反覆的訓練及調整來提升其精確性。十年前這一過程還可於個人電腦上進行,但如今已愈來愈依賴專業的計算硬件。根據研究機構 OpenAI 的數據,人們於機器深度學習中所投入的計算量於 2012 年至 2018 年間增長了 30 萬倍。

綠色、低碳 AI 大模型

AI 算力提升的背後,是能耗和成本的顯著增加。以科技企業均在爭相開發的 AI 大模型為例,與傳統 AI 相比,這些大模型擁有成百上千倍「神經元」數量,認知和創造能力均更勝一籌,被普遍認為是未來的「基礎模型」。但大模型在訓練中所產生的能耗亦十分驚人要實現 AI 大模型的規模化使用,必須著手解決這一問題。

正因如此,近年來我們一直致力研發綠色、低碳的 AI 大模型。我們相信,提升 AI 大模型的訓練效率,將成為推進 AI 低碳進程中邁出的關鍵一步。

AI 模型應用降本增效

大模型的算力成本高昂,往往令有意展開應用研究的業界人士及學者望而卻步。如何令企業可在資源有限的情況下,有能力訓練更高參數的 AI 模型,就需要推動多模態大模型發展。目前這種大模型已在國內多個商業化場景中得到廣泛應用,還可參與跨模態搜索、文案撰寫、圖片設計甚至智能製造等多類型的工作。

隨著人們對 AI 預訓練大模型需求的持續增長,AI 模型的複雜度逐年攀升,減低訓練 AI 模型的能耗,提升訓練效率,將成為未來 AI 領域的一大重點。事實證明,AI 可在基礎科學研究以及協助人們應對環境、社會議題等諸多方面發揮作用。未來我們亦將持續推動綠色 AI 模型的發展,促進 AI 技術為社會創造更多的價值。

撰文:達摩院人工智能科學家楊紅霞