大型語言模型競爭激烈，Meta 早前終於發佈了其 Llama 系列的最新版本 Llama 3，據稱在不同方面的表現都相當出色，甚至超越了 Google 的 Gemini Pro 1.5。
Meta 最新發佈的 Llama 3 有兩個版本，分別有 80 億和 700 億個參數，據稱比起上代模型有了顯著改進，除了提供更多樣化的回答，也減少了拒絕回答問題的情況，有更好的推理能力，並增強了代碼編寫能力。據 Meta 表示，Llama 3 比 Google 的 Gemma 和 Gemini、Mistral 7B 和 Anthropic 的 Claude 3 等競爭對手在某些基準測試中有更佳的表現。例如在評估常識的 MMLU 基準測試中，80 億參數版本的 Llama 3 的表現超越 Gemma 7B 和 Mistral 7B。而 70 億參數版本的 Llama 3 也略微勝過類似參數數量的 Gemini Pro 1.5。不過在 Meta 的資料中並沒有提及與 GPT-4 的比較結果。
Meta 除了一般的基準測試外，還利用一個新的數據集進行了人工評估，模擬現實世界中可能使用 Llama 3 的場景。該數據集包括 1,800 個提示，涵蓋建議、生成新意見、編碼、創意寫作等各種使用案例，為確保結果公正，模型開發團隊無法存取該數據集。結果評估員對 Llama 3 的評分高於其他競爭對手，包括 OpenAI 的 GPT-3.5 等等。
目前 Llama 3 已經在 AWS 等雲端服務平台上提供，之後會加入到 Hugging Face 等模型庫之中供選用。未來 Meta 計劃開發更大的模型來擴展 Llama 3 的能力，使其能夠理解更長的數據串，並執行圖像生成和音頻轉錄等多模態任務。這些更大的模型參數可能超過 4,000 億個，不過暫時未有推出的時間表。
來源：Meta
