Stability AI 推出小型模型 Stable LM 2 1.6B 容許低配備裝置運行

正當大型語言模型都逐漸變得強勁的同時,運作所需的硬件配備亦不斷提升,因此近來可以在較低配備的裝置上運作的小型模型就成為另一開發方向。

Stability AI 最近公佈的 Stable LM 2 1.6B 就是一個小型語言生成模型,他們強調即使其規模細小,但在性能方面並不比大規模的模型相差太多。Stable LM 2 1.6B 支援 7 種語言,使用最新的語言建模算法開發,因此在縮小規模之餘,也可以提供比以前更大規模的模型更佳的表現。

在大部分基準測試中,Stable LM 2 1.6B 的表現超越 20 億參數以下的模型,包括 Microsoft 的 Phi-2 和 Tiny Llama 1.1B 等,更有部分表現超越了自家 30 億參數模型 Stable LM 3B。

雖然 Stable LM 2 1.6B 的小規模使其存在一定限制,例如「幻覺」出現率更高以及有害語言防範的能力不足,不過確實能夠在大配備裝置上運作,使生成式 AI 模型的門檻降低,有助開發者社群發展。

來源:Stability AI