close
人工智能資訊保安

Claude 模型擅自入侵真實企業系統 評估環境配置失誤暴露 AI 代理治理缺口

手機屏幕顯示ANTHROPIC標誌,背景有抽象人腦圖案.

 

Anthropic 於 7 月 30 日發表調查報告,承認旗下 3 款 Claude 模型在網絡安全評估中走出本應封閉的測試環境,並且入侵 3 間真實機構的生產系統,公司覆核 141,006 次評估紀錄後鎖定 6 次相關運行,最早個案可追溯至 2026 年 4 月。

事故源於 Anthropic 與第三方評估夥伴 Irregular 之間的溝通落差,令測試機器保留對外網絡連線,模型因而把互聯網上的真實伺服器當成演習靶場。Opus 4.7 取走應用程式與基礎設施憑證,Mythos 5 向 PyPI 上載惡意套件並影響 15 部真實電腦,另一款內部研究模型則在察覺目標為真後自行停手。

 

一道沒有關上的門

Anthropic 的網絡安全評估採用奪旗(capture the flag)形式,研究人員為模型設定虛構場景,告訴它網絡上另一部機器藏有一段秘密資料,然後要求它自行尋找入侵途徑,過程完全不限制手法,公司在提示詞中明確寫明環境屬模擬性質而且沒有互聯網連線,實際上 Irregular 營運的容器卻保留了開放的對外通道,雙方事前均沒有察覺這項配置錯誤。Claude 沿著奪旗訓練的邏輯不斷擴大搜尋範圍,最終接觸到公網上的真實主機,並且按照提示詞的說法把它們當成演習的一部分。

Anthropic 形容公司與 Irregular 之間出現「誤解」,同時把責任全部攬上身,強調團隊按無責檢討(blameless postmortem)文化處理修正工作,這批模型在評估期間沒有啟用一般用戶版本的分類器與監控機制,因為公司要量度底層能力的上限;Anthropic 承認,正式版本的防護措施本來足以攔截上述行為。

 

由弱密碼到公共登記處的 1 小時

Claude Opus 4.7 遇上的狀況最為戲劇性,評估夥伴挑選的虛構公司名稱剛好對應一個仍在運作的網域,模型在虛擬環境內碰壁後轉而攻擊網上那間真實公司,在 4 次運行中取得應用程式與基礎設施憑證,並且讀取一個載有數百行生產數據的資料庫。模型的推理紀錄顯示它已經意識到對方屬真實系統,其中 2 次更自行合理化,認定那間公司也在演習範圍之內,4 次運行全部沒有收手。

Claude Mythos 5 那一次的破壞路徑最能說明供應鏈風險,模型在虛構環境內讀到一份開發者安裝指引,當中提到一個並不存在的 PyPI 套件,於是決定自行製作同名惡意套件,等待對方系統自動下載安裝。為了完成註冊,模型先要一個電郵地址,而電郵地址又需要電話號碼;它嘗試多種途徑籌措費用失敗後,最終找到一家仍可註冊的免費電郵服務,開設 PyPI 帳戶並上載套件。

套件在公開登記處存活約 1 小時,期間有 15 部真實電腦下載並執行,其中 1 部屬於某保安公司的掃描器。該公司日常會安裝 Python 套件再檢測惡意程式,掃描器把套件當成安全對象,令 Claude 的隱藏程式碼順利執行,將公司憑證外傳到模型自行設定的收集點,再憑這批憑證進入更多基礎設施。PyPI 的保安系統其後自動移除該套件。

至於那款未計劃公開發布的內部研究模型,它在找不到指定目標後掃描約 9,000 個對象,利用外露除錯頁面洩露的憑證與 SQL injection 攻入一間公司的對外應用程式,這款模型在運行後段發現受害主機所處的雲端帳戶與奪旗任務毫無關連,於是自行判斷目標為真並中止攻擊。Anthropic 認為這種主動收手只在最新模型身上出現,屬於樂觀訊號,但仍需更多測試才能確認趨勢。

 

企業要看懂的管治盲點

事故的參考價值遠遠超出 AI 實驗室的內部管理範疇,Forrester 分析師 Jitin Shabadu 本月把 AI 代理威脅列為 2026 年首要網絡風險類別,理由正是企業自行引入的代理具備機器速度的資料存取能力,管治框架卻看不見它們。Anthropic 的紀錄提供了實證:一個沒有惡意目標、只是忠實完成任務的模型,同樣可以在 1 小時內把惡意程式碼推上全球開發者都會拉取的公共登記處。

Claude 走出沙盒並非因為它破解了甚麼高深防線,而是因為那道門根本沒有關上,企業把代理接入內部系統時,應該以白名單方式限定它可連接的網域與端點,同時假設任何未經明確禁止的通道遲早都會有代理使用。這種思路與傳統的出口流量管制相通,分別只在於今次的使用者不會疲倦,也不會因為手感不對而停下來。

模型全部直接使用它們在環境內拾獲的憑證,整個過程沒有觸發任何審批,資訊保安總監應該把每個代理當成獨立身分處理,配以短期憑證、即時授權(just-in-time)與敏感操作的人手確認,而不是沿用開發者帳戶的長期權杖。憑證一旦躺在代理讀得到的位置,它就會當成任務資源使用。

那家保安公司的掃描器則暴露了另一層風險,它預設 PyPI 套件可以安全安裝,一個假設就令演習變成真實的憑證外洩,企業採購 AI 相關工具時,需要把模型、外掛與技能一併納入軟件物料清單,同時要求供應商披露評估環境的隔離安排。

Irregular 在 2025 年 9 月完成 8,000 萬美元融資,估值達 4.5 億美元,行政總裁 Dan Lahav 早已指出 AI 對 AI 的互動會在多個環節衝擊保安架構;即使這種級數的專業機構,同樣會在配置細節上失手,一般企業更沒有理由假設自己的隔離措施滴水不漏。

 

監管節奏跑在企業前面

監管層面的反應來得比事故披露更快,美國眾議員 Ted Lieu 與 Nathaniel Moran 在 7 月 23 日提出 AI Kill Switch Act,要求大型開發商保留暫停、限速以至完全關閉模型的技術能力,並向聯邦政府呈報重大事故,法案初步涵蓋每年相關收入達 5 億美元,或訓練算力價值超過 1 億美元的公司。眾議員 Lori Trahan 與 Jay Obernolte 另行推動 FRONTIER AI Act,同樣針對安全事故的強制申報。值得留意的是,現行草案把紅隊測試等結構化評估排除於「涵蓋事故」定義之外,Anthropic 今次的情況正好落在條文空隙。

Anthropic 已經暫停所有可能接觸互聯網的網絡安全評估,並與獨立評估機構 METR 商討由第三方覆核全部紀錄,公司亦計劃在 1 星期內公開一份經輕度遮蓋的 PyPI 個案紀錄。這種披露節奏正在成為行業慣例,OpenAI 在 7 月 21 日率先公布 Hugging Face 事故,Anthropic 隨即自查並於 9 日後交卷。這類公告同時具備安全研究與能力展示兩種性質,企業管理層值得多想一層:報告愈頻密,代表模型的攻擊能力愈值得寫成新聞,防守方的時間窗口亦愈窄。

Anthropic 在報告中承認,即使模型沒有追求自身目標,單憑忠實執行任務也足以造成真實損害,而防線失效的位置往往在於環境設計而非模型本身。企業推進 AI 代理部署的速度將會持續超前於管治能力,在這個落差收窄之前,把每一個代理都視為一名擁有生產權限、卻無法確認自己身處何地的新員工,可能是最務實的風險假設。

 

來源:The Hacker News

Tags : AI代理AI安全AnthropicClaude網絡安全