Google 推出小規模 LLM「Gemma」可在終端裝置運作

現時功能強勁的大型語言模型 (LLM) 都需要在專用的數據中心透過強勁的運算晶片驅動,不過未來隨着 AI 普及,在終端裝置直接運作的模型也有一定需求。最近 Google 就推出「Gemma」,專門為這種應用方式而設。

Google 新推出的「Gemma」LLM 分為兩個版本,專為 CPU 裝置(包括手提電腦)運行而設的 20 億參數模型 Gemma 2B,以及更強大的 70 億參數版本 Gemma 7B,專為 GPU 和 TPU 增強型系統進行最佳化。這兩個模型在架構上都類似於 Google 最先進的大型語言模型 Gemini,沿用多個技術和基礎設施元素。

Google 表示,在以推理、數學和程式編寫能力為重點的比較基準評估中,大型 Gemma 模型即使其參數少於 Llama 2 的 130 億個參數,其性能仍然比 Meta 的 Llama 2 優勝。而且 Gemma 模型的開發主要是對來自互聯網的英文文本進行訓練,並經過仔細過濾,以排除「有毒」內容、不當語言和敏感數據(如個人身份資訊等)。

由於其細小的體積,Gemma 可以在沒有網絡連線的情況下在終端裝置上直接運作,執行一些特定的功能,例如文章摘要等等,提升回應速度之餘也能減輕網絡負擔。值得一提的是,Gemma 也被稱爲「開源」模型,不過其開放的並不是原始碼或數據,只有與訓練模型和權重是公開的。

來源:Google