現時功能強勁的大型語言模型 (LLM) 都需要在專用的數據中心透過強勁的運算晶片驅動，不過未來隨着 AI 普及，在終端裝置直接運作的模型也有一定需求。最近 Google 就推出「Gemma」，專門為這種應用方式而設。
Google 新推出的「Gemma」LLM 分為兩個版本，專為 CPU 裝置（包括手提電腦）運行而設的 20 億參數模型 Gemma 2B，以及更強大的 70 億參數版本 Gemma 7B，專為 GPU 和 TPU 增強型系統進行最佳化。這兩個模型在架構上都類似於 Google 最先進的大型語言模型 Gemini，沿用多個技術和基礎設施元素。
Google 表示，在以推理、數學和程式編寫能力為重點的比較基準評估中，大型 Gemma 模型即使其參數少於 Llama 2 的 130 億個參數，其性能仍然比 Meta 的 Llama 2 優勝。而且 Gemma 模型的開發主要是對來自互聯網的英文文本進行訓練，並經過仔細過濾，以排除「有毒」內容、不當語言和敏感數據（如個人身份資訊等）。
由於其細小的體積，Gemma 可以在沒有網絡連線的情況下在終端裝置上直接運作，執行一些特定的功能，例如文章摘要等等，提升回應速度之餘也能減輕網絡負擔。值得一提的是，Gemma 也被稱爲「開源」模型，不過其開放的並不是原始碼或數據，只有與訓練模型和權重是公開的。
來源：Google