生成式 AI 開發競爭固然激烈，但企業着重的除了效能外，處理速度和成本都是相當重要的部分，因此同一模型如何能夠以更快速度處理就成為另一個競爭目標。有初創最近就創下每秒處理 Llama 3 8B 的 1,000 個 Token 的新紀錄，引來注目。
SambaNova Systems 最新的測試中，Llama 3 8B 參數指示模型的處理速度達到了每秒 1,000 個 Token。這結果獲得測試公司 Artificial Analysis 驗證，超過了 Groq 此前保持的每秒 800 個 Token 的記錄。SambaNova 使用了自家研發的「可重構數據流元件」(RDU) 晶片，類似 AI 加速器，配合 Samba-1 Turbo 模型來運行，提升處理速度。
SambaNova 總裁 Rodrigo Liang 解釋，達到每秒 1,000 個 Token 的關鍵在於對可重構數據流架構所帶來的迭代改良，使 SambaNova 能夠針對模型進行平衡資源分配，避免樽頸問題，從而顯著提高效率和性能。效能快速之餘，也可以確保優質輸出，最大限度地減少 AI 幻覺等問題，符合企業要求。這樣不只可以改善 AI 代理的工作流程，還透過騰出運算負載來執行其他任務，可以降低基礎設施的運作成本。
Artificial Analysis 聯合創始人 George Cameron 強調，這成就在快速發展的 AI 晶片競賽中相當重要。尤其是對於依賴處理速度的應用範圍，例如需要快速回應時間和大量文件解釋能力的 AI 代理和消費應用等等。
來源：VentureBeat