close
人工智能

華為開發中文大型自然語言模型「盤古」

NLP 自然語言模型是人工智能領域中相當實用的應用技術,除了英文有 GPT-3 等極為強勁的模型外,最近華為也開發了名為「盤古」的中文模型,其參數達 1,100 億個。

華為最近在 HDC.Cloud 大會上公佈他們開發的盤古 NLP 模型,由華為雲和循環智能聯合開發,使用了近半年時間利用 40TB 的文本數據和 400 萬小時的語音數據所訓練,刷新了中文最大型 NLP 預訓練模型的記錄。開發團隊方面表示,他們發現 GPT-3 雖然強勁,是學術研究的重大突破,但是實際應用期間仍然面臨很多問題,而盤古模型則向商業化應用的方向開發,更能夠應對實際需要。

團隊表示,憑着針對性的訓練開發,利用遷移學習讓模型可以利用任務之間的相似性,用更少的樣本帶來更好的效果,更採用 P-tuning 和 priming 等最新技術,其商業應用效能非常優異。團隊希望未來可以讓它成為通用 API,開發者可以簡單地應用技術至不同場景。

來源:Venture Beat


新增 : unwire.pro Mewe 專頁 : https://mewe.com/p/unwirepro

Tags : huaweiNLP
Antony Shum

The author Antony Shum