
人工智能曾經被認爲因為開發成本過高,進入市場的門檻亦變得相當高,不過繼 DeepSeek 的成功之後,也有更多的挑戰者加入這個市場。位於三藩市的 AI 研究初創公司 Deep Cogito 最近就推出了名為 Cogito v1 的全新開源大型語言模型(LLM)系列。這些模型基於 Meta 的 Llama 3.2 進行微調,並具備混合推理能力,能夠立即快速回答問題,或像 OpenAI 的 o 系列和 DeepSeek R1 那樣進行「自我反思」。
Deep Cogito 的技術核心在於其獨特的訓練方法——迭代蒸餾和增強(IDA)。這種方法不同於傳統的人類反饋強化學習(RLHF)或教師模型蒸餾。具體來說,IDA 為模型分配更多的計算資源以生成改進的解決方案,然後將改進的推理過程蒸餾到模型自身的參數中,有效地為能力增長建立了一個反饋循環。Deep Cogito 的 CEO 兼聯合創始人 Drishan Arora 將這種方法比作 Google AlphaGo 的自我對弈策略,只不過應用於自然語言處理範疇。
Deep Cogito 首批模型系列包括五種基本規模:30 億、80 億、140 億、320 億和 700 億參數。這些模型現已在 AI 代碼共享社區 Hugging Face、Ollama 以及 Fireworks 和 Together AI 的應用程序編程接口(API)上提供。它們遵循 Llama 許可條款,允許商業使用,第三方企業可以將它們應用於付費產品,每月用戶數不超過 7 億,超過該數量則需要向 Meta 獲取付費許可。公司計劃在未來幾個月內發布更大的模型——參數規模高達 6710 億。
根據公司分享的基準測試結果,Cogito 模型在通用知識、數學推理和多語言任務等方面表現優異。例如,Cogito 3B(標準模式)在 MMLU 測試中比 LLaMA 3.2 3B 高出 6.7 個百分點(65.4%對 58.7%)。而在推理模式下,Cogito 3B 在 MMLU 上得分 72.6%,在 ARC 上得分 84.2%,超過了其自身標準模式的表現,展示了基於 IDA 的自我反思效果。更大規模的 Cogito 8B(標準模式)在 MMLU 上得分 80.5%,比 LLaMA 3.1 8B 高出 12.8 個百分點。
此外,Cogito 模型原生支援工具調用功能——這是代理和 API 整合系統日益重視的能力。Cogito 3B 支援四種工具調用任務(簡單、並行、多重和並行多重),而 LLaMA 3.2 3B 則不支援工具調用。Cogito 3B 在簡單工具調用上得分為 92.8%,在多重工具調用上超過 91%。
企業可受惠於低成本 AI 技術
Deep Cogito 的開源混合推理模型顯示開源商業許可的特性使企業能夠低成本地獲取和部署高性能 AI 模型,而無需承擔昂貴的專有模型訂閱費用。對中小企業而言,這降低了 AI 技術應用的門檻,使其能夠更容易實現業務自動化和智能化。同時混合推理能力為企業提供了更靈活的 AI 應用場景。在需要快速回應的客戶服務場景中,標準模式可以提供即時答案;而在涉及複雜問題解決或決策支援的場景中,推理模式能夠提供更深入的分析和更可靠的結果。企業可以根據不同業務需求,靈活切換模型的工作模式,提高整體效率和準確性。
工具調用能力的原生支援也為企業開發更複雜的 AI 應用提供了便利。企業可以將 Cogito 模型與其內部系統和 API 整合,開發具有更強操作能力的 AI 助手或代理,實現從查詢資訊到執行操作的無縫過渡。例如,客戶服務 AI 可以不僅回答問題,還能直接查詢訂單系統、更新客戶資訊或觸發特定業務流程。對於有技術能力的企業,Deep Cogito 的迭代蒸餾和增強(IDA)方法提供了一個值得研究的方向。企業可以嘗試應用類似方法,根據特定範疇數據和任務對基礎模型進行進一步最佳化,開發更適合其業務場景的專業 AI 系統。
開源模型逐漸逼近閉源技術優勢
Deep Cogito 的出現與其技術路線選擇反映了 AI 範疇的幾個關鍵趨勢。首先,開源 LLM 的性能差距正在快速縮小,甚至在某些方面開始超越封閉源模型。這一趨勢將推動更多企業採用開源 AI 解決方案,進一步促進開源生態系統的發展和成熟。而 AI 自我改進能力將成為下一階段競爭的焦點。Deep Cogito 的 IDA 方法代表了一種減少對人類監督依賴的方向,未來我們可能會看到更多類似的自我最佳化方法出現,推動 AI 系統向更高層次的自主性發展。
此外,模型規模仍在繼續增長,但更重要的是訓練方法和架構的創新。Deep Cogito 計劃推出的 671B 參數模型將是開源範疇的一個里程碑,但其真正價值在於如何透過創新的訓練方法使這些大規模模型發揮更大效用。預計混合推理能力也將成為標準配置,未來的 AI 系統將能夠自主決定何時需要深入思考,何時可以直接回應,從而在效率和準確性之間取得更好的平衡。
開源 AI 生態系統的蓬勃發展意味著 AI 應用的成本將持續下降,而能力將不斷提升。現在是時候開始規劃如何將這些先進開源模型整合入業務流程,以獲取競爭優勢。同時,企業也應關注 AI 自我提升能力的發展,為未來可能出現的更強大、更自主的 AI 系統做好準備。
來源:VentureBeat