Elon Musk 旗下的 xAI 早前發佈了 Grok-2 大型語言模型聊天機器人，不過這個模型在推出後仍然有繼續進步，xAI 的兩位開發者在短短三天內重寫了推理代碼堆棧，使 Grok-2 和 Grok-2 mini 的資訊分析和輸出速度大幅提升。
據 xAI 開發者 Igor Babuschkin 在 X 上表示，Grok-2 mini 的速度經過改良後提高了一倍。開發團隊使用 SGLang 重寫了推理堆棧，不只提升了速度，還略微提升了模型的準確性。SGLang 是個開源的高效系統，用於執行複雜的語言模型程式，其性能比現有系統高出多達 6.4 倍。
Grok 2 mini is now 2x faster than it was yesterday. In the last three days @lm_zheng and @MalekiSaeed rewrote our inference stack from scratch using SGLang (https://t.co/M1M8BlXosH). This has also allowed us to serve the big Grok 2 model, which requires multi-host inference, at a… pic.twitter.com/G9iXTV8o0z
— ibab (@ibab) August 23, 2024
在第三方 Lmsys Chatbot Arena 排行榜上，Grok-2 以 1293 分位居第二，與 Google 的 Gemini-1.5 Pro 模型並列，僅次於 OpenAI 的最新版 ChatGPT-4。Grok-2 mini 也躍升至第五位，得分為 1268 分。值得注意的是，Grok-2 在數學任務中排名第一，在硬提示、編碼和指令跟隨等多個類別中也表現出色。xAI 團隊表示，他們將繼續改進 Grok-2 mini 的處理速度，以滿足用戶對高性能低運算成本的需求。
來源：VentureBeat
