華為開發中文大型自然語言模型「盤古」

NLP 自然語言模型是人工智能領域中相當實用的應用技術，除了英文有 GPT-3 等極為強勁的模型外，最近華為也開發了名為「盤古」的中文模型，其參數達 1,100 億個。

華為最近在 HDC.Cloud 大會上公佈他們開發的盤古 NLP 模型，由華為雲和循環智能聯合開發，使用了近半年時間利用 40TB 的文本數據和 400 萬小時的語音數據所訓練，刷新了中文最大型 NLP 預訓練模型的記錄。開發團隊方面表示，他們發現 GPT-3 雖然強勁，是學術研究的重大突破，但是實際應用期間仍然面臨很多問題，而盤古模型則向商業化應用的方向開發，更能夠應對實際需要。

團隊表示，憑着針對性的訓練開發，利用遷移學習讓模型可以利用任務之間的相似性，用更少的樣本帶來更好的效果，更採用 P-tuning 和 priming 等最新技術，其商業應用效能非常優異。團隊希望未來可以讓它成為通用 API，開發者可以簡單地應用技術至不同場景。