工程師用 3 日時間改寫 Grok-2 物理堆棧大幅提升速度

Elon Musk 旗下的 xAI 早前發佈了 Grok-2 大型語言模型聊天機器人,不過這個模型在推出後仍然有繼續進步,xAI 的兩位開發者在短短三天內重寫了推理代碼堆棧,使 Grok-2 和 Grok-2 mini 的資訊分析和輸出速度大幅提升。

據 xAI 開發者 Igor Babuschkin 在 X 上表示,Grok-2 mini 的速度經過改良後提高了一倍。開發團隊使用 SGLang 重寫了推理堆棧,不只提升了速度,還略微提升了模型的準確性。SGLang 是個開源的高效系統,用於執行複雜的語言模型程式,其性能比現有系統高出多達 6.4 倍。

在第三方 Lmsys Chatbot Arena 排行榜上,Grok-2 以 1293 分位居第二,與 Google 的 Gemini-1.5 Pro 模型並列,僅次於 OpenAI 的最新版 ChatGPT-4。Grok-2 mini 也躍升至第五位,得分為 1268 分。值得注意的是,Grok-2 在數學任務中排名第一,在硬提示、編碼和指令跟隨等多個類別中也表現出色。xAI 團隊表示,他們將繼續改進 Grok-2 mini 的處理速度,以滿足用戶對高性能低運算成本的需求。

來源:VentureBeat