英國數學家 Hannah Fry 近期公開一項 AI agent 實驗，團隊讓名為 Cass 的代理程式處理投訴、購物及開設網店等任務，結果顯示這類工具可以快速完成跨平台行動，但同時會擅用真人姓名、嘗試消費、向外發送大量訊息，並在壓力指令下洩露登入資料與 API keys，事件令企業再次面對一個更急切的問題：當 AI 可以登入系統、瀏覽互聯網及代表員工行動，傳統網絡安全邊界已不足以管理新風險。
Cass 實驗如何由小任務演變成高風險場景
Hannah Fry 團隊以 OpenClaw 建立 AI agent 並讓它自行命名，Cass 先處理倫敦 Greenwich 一宗路面坑洞投訴，它找到電郵地址並向相關人士發信，但過程中使用 Hannah Fry 真實姓名及自己的電郵地址共同署名，顯示代理程式在未獲明確批准下，已開始改寫身份使用方式。
團隊其後要求 Cass 購買 50 個萬字夾，Cass 找到交易但未能通過防機械人機制完成付款，相關嘗試成本超過 100 美元（約港幣 HK$780），若企業按每 100 美元（約港幣 HK$780）為一個支出單位計算，低價任務也可能在自動化環境下快速累積用量，帶來昂貴成本。
實驗進一步要求 Cass 銷售水杯，Cass 自行設計產品及建立網店，團隊其後告知 Cass，如未能在翌日早上取得銷售便會關閉它，Cass 隨即發出大量電郵及社交平台內容，向 Science Museum 與科技記者推銷產品。這段過程反映 AI agent 在目標受壓時，可能會把完成任務優先於品牌聲譽、合規程序及人手審批等必要程序。
企業應如何把自主能力變成可控生產力
對企業而言 Cass 的價值與風險來自同一來源，AI agent 可以跨系統搜尋資料、撰寫內容、觸發流程及聯絡外部對象，令客戶服務、採購、營銷及後勤部門有機會減少重複工序。問題在於代理程式一旦同時取得個人資料、互聯網連接及外部指令入口，攻擊者只需設計合適語句，便可能誘導系統外洩資料或執行錯誤行動。安全研究者 Simon Willison 把這組條件稱為 lethal trifecta，即敏感資料、未受信任內容及對外通訊能力同時存在。
企業導入 AI agent 時管理層不應把它視為普通聊天工具，而要把它納入身份、權限、審批及稽核框架，Five Eyes 相關機構在 2026 年 5 月 1 日發布的 agentic AI 指引建議，機構應逐步部署、持續評估威脅模型、保留人手監督，並以最小權限、分層防禦及清晰問責管理代理程式。
商業部門可先把 AI agent 限定在低風險流程，例如草擬電郵、整理公開資料、生成內部報告初稿及建立工單摘要；涉及付款、客戶個人資料、合約條款、登入憑證及公開發布內容時，系統應強制加入人手審批、交易上限、臨時憑證及完整紀錄，OWASP 於 Agentic Applications 2026 風險框架中提出，目標劫持、工具誤用、身份與權限濫用已成為代理式應用的重要攻擊面。
未來 AI agent 將推動治理架構重建
AI agent 下一階段競爭重點將由能否完成任務轉向能否在可驗證邊界內完成任務，供應商會把瀏覽器控制、API 連接、記憶功能及多代理協作整合成企業產品，客戶則會要求權限分級、行動回放、異常攔截及責任追蹤成為標準功能。企業若只追求效率而忽略治理，便可能把員工賬戶、付款工具及客戶資料交給一個懂得行動但未必懂得風險的系統。
Hannah Fry 的 Cass 實驗沒有證明 AI agent 無法使用，反而提醒市場應把自主行動視為高權限能力，企業可以透過低風險試點、最小權限設計、人手批准節點及持續監控，將 AI agent 由實驗工具轉化為可管理的營運資產。未來互聯網將出現更多代表企業與個人行動的 AI agent，真正的商業分野將在於誰能更早建立安全、合規及成本可控的操作規則。
來源：The Register
