免費自然語言模型 GPT-Neo 成另類開源選擇

自然語言模型在多種商業人工智能應用中也有使用，不過強勁的模型往往有很高的成本門檻，中小企等預算有限的機構難以受惠。不過其實也有越來越多免費的開源技術，可以做到類似的效果。

名爲 GPT-Neo 的模型由 EleutherAI 所開發，他們希望可以製作出一個開源的類 GPT 自然語言模型，讓更多人可以用到強勁的自然語言模型。技術本身其實早已有不少人着墨，而 GPT 系列模型特別之處在於其龐大的數據庫和用於訓練模型的強勁運算能力。

EleutherAI 團隊有見及此，在去年製作了 825GB 規模的數據集，專門用於訓練自然語言模型，內容來自 22 個不同的來源，包括學術論文、網頁、GitHub、影片字幕等。而運算方面他們用了 TPU Research Cloud 的閒置運算資源。經過訓練之後，GPT-Neo 的參數比 GPT-2 要多，與 GPT-3 之中最小型的 Ada 並列，但仍遠少於最大型的 GPT-3 Davinci。其效能亦超越 GPT-3 Ada，因此如果需要用到類似 GPT-3 的模型，GPT-Neo 將會是個不錯的選擇。