AI 初創公司 Gradient 與雲端運算平台 Crusoe 最近展開合作，將 Llama-3 模型的上下文窗口擴展至 100 萬個 Token，大幅提升模型的應用範疇。
上下文窗口 (Context Windows） 對於大型語言模型（LLM）可以處理的輸入和輸出內容的規模有決定性影響，今次在基礎模型之上大幅擴充上下文窗口的技術，可說是開源 LLM 的突破性發展。
Gradient 首席科學家 Leo Pekelis 表示，這項技術可以讓 LLM 一次性處理整個代碼庫，從而提高編程輔助工具的效率和準確性。這對於無法使用第三方模型的企業尤為重要。Gradient 團隊利用來自世界各地大學和研究機構的論文和開源項目來進行研發，充分發揮開源 AI 開發社群的優勢。
Pekelis 認為，開源 AI 模型有了更長的上下文窗口，將有助於縮小個人 AI 應用和企業應用之間的差距，並為企業展示 LLM 的潛力。
來源：VentureBeat