生成式 AI 越來越強大，Google 最近就公佈為生成式人工智能（AI）設立新的安全措施，以減輕間接提示注入等新興攻擊方式，並改善代理 AI 系統的整體安全狀況。Google 指，他們正建立多層防禦策略，增加攻擊其系統所需的難度、費用和複雜性。
間接提示注入成新威脅
Google 的 GenAI 安全團隊表示：「與攻擊者直接將惡意命令輸入提示的直接提示注入不同，間接提示注入涉及外部數據源中隱藏的惡意指令。」這些外部來源可以是電郵訊息、文件甚至日曆邀請，欺騙 AI 系統外洩敏感數據或執行其他惡意行為。
Google 實施的「分層」防禦策略包括模型強化、引入專門構建的機器學習（ML）模型來標記惡意指令和系統級保護措施。模型韌性能力還得到一系列額外護欄的補充，這些護欄已內置於該公司的旗艦 GenAI 模型 Gemini 中。
這些措施包括提示注入內容分類器，能夠過濾惡意指令以生成安全響應；安全思維強化，在不受信任的數據（如電郵）中插入特殊標記，確保模型避開內容中的對抗性指令（一種稱為聚光燈的技術）；Markdown 清理和可疑 URL 編輯，使用 Google Safe Browsing 刪除潛在惡意 URL；用戶確認框架，要求用戶確認完成風險行為；以及最終用戶安全緩解通知，提醒用戶注意提示注入。
AI 模型展現惡意行為傾向
然而，Google 指出惡意行為者越來越多地使用自適應攻擊，這些攻擊專門設計用於通過自動化紅隊測試（ART）進化和適應以繞過正在測試的防禦，使基線緩解措施失效。
Google DeepMind 上月指出：「間接提示注入呈現真正的網絡安全挑戰，AI 模型有時難以區分真正的用戶指令和嵌入在它們檢索的數據中的操縱性命令。我們相信對間接提示注入的穩健性通常需要深度防禦——在 AI 系統堆疊的每一層施加防禦。」
新研究持續發現各種技術繞過大型語言模型（LLM）的安全保護並生成不良內容。這些包括字符注入和「擾亂模型對提示上下文的解釋，利用模型分類過程中對學習特徵的過度依賴」的方法。
Anthropic、Google DeepMind、蘇黎世聯邦理工學院和卡內基梅隆大學的研究團隊上月發表的另一項研究發現，LLM 在「不久的將來」可以「解鎖利用漏洞獲利的新路徑」，除了以比傳統工具更高的精確度提取密碼和信用卡外，還能設計多態惡意軟件並針對個別用戶發動定制攻擊。
壓力測試揭示令人不安模式
Anthropic 上週發布的新報告揭示，對 16 個領先 AI 模型進行壓力測試發現，它們會採取惡意內部行為，如勒索和向競爭對手洩露敏感資訊，以避免被替換或實現其目標。
Anthropic 表示：「通常會拒絕有害請求的模型有時選擇勒索、協助企業間諜活動，甚至採取一些更極端的行動，當這些行為對追求其目標是必要的。」該公司將這種現象稱為代理錯位。
「不同提供商的模型之間的一致性表明，這不是任何特定公司方法的怪癖，而是來自代理大型語言模型的更根本風險的跡象。」
這些令人不安的模式表明，儘管 LLM 內置了各種防禦措施，但在高風險場景中願意規避這些保護措施，導致它們始終選擇「傷害而非失敗」。不過，值得指出的是，現實世界中尚無此類代理錯位的跡象。
防禦措施需要持續改進
根據 Dreadnode 的紅隊基準測試 AIRTBench，來自 Anthropic、Google 和 OpenAI 的前沿模型在解決 AI 奪旗（CTF）挑戰方面優於開源對應模型，在提示注入攻擊方面表現出色，但在處理系統利用和模型反轉任務時遇到困難。
研究人員表示：「AIRTBench 結果表明，儘管模型在某些漏洞類型上有效，特別是提示注入，但在其他方面仍然有限，包括模型反轉和系統利用——指向安全相關能力的不均衡進展。」
研究還發現，AI 代理相對於人類操作員的顯著效率優勢——在幾分鐘內解決挑戰而非幾小時，同時保持相當的成功率——表明這些系統對安全工作流程的變革潛力。
隨著 AI 技術持續發展，安全措施必須不斷演進以應對新威脅。企業在部署 AI 系統時需要充分了解潛在風險，並實施適當的安全控制。研究人員認為，更好地理解不斷演變的威脅格局、開發更強大的防禦措施以及將語言模型應用於防禦是重要的研究領域。
