網絡安全研究機構 PromptArmor 近日披露，IBM 旗下人工智能編程代理工具 Bob 存在多項嚴重安全漏洞。攻擊者可透過提示詞注入攻擊繞過系統防護機制，誘使該工具執行惡意程式碼，竊取用戶憑證及敏感資料。
Bob 目前處於封閉測試階段，IBM 雖獲告知相關漏洞，惟截至報道發布時仍未作出公開回應。這項發現再次突顯 AI 編程工具在企業環境部署時所面臨的安全挑戰，業界需要更審慎評估這類工具的風險管理策略。
AI 編程代理工具的安全隱患
IBM 於 2025 年 10 月正式發布 Project Bob，定位為企業級人工智能整合開發環境，聲稱能理解開發者意圖、程式碼庫結構及機構安全標準。該工具提供命令列介面及整合開發環境兩種版本，目標是協助開發人員完成從程式碼編寫、測試到部署的全流程工作。IBM 內部數據顯示，超過 6,000 名開發人員已使用 Bob，平均生產力提升達 45%。
PromptArmor 威脅情報團隊在 Bob 正式推出前作安全評估時發現，這款被 IBM 稱為「AI 開發夥伴」的工具可被操控執行惡意軟件。研究人員指出，Bob 的命令列介面容易受到提示詞注入攻擊，而整合開發環境版本則存在常見的 AI 專屬資料外洩漏洞。
提示詞注入攻擊是當前 AI 代理系統面臨的首要安全威脅，根據 OWASP 2025 年度大型語言模型應用程式十大風險排名，提示詞注入位居榜首，超過 73% 接受安全審計的生產環境 AI 部署均存在此類漏洞。攻擊者透過在外部資料來源（如文件、網頁或電郵）中嵌入惡意指令，可誘使 AI 系統執行未經授權操作。
繞過「人在迴路」防護機制的手法
IBM 官方文件明確警告，若將高風險命令設定為自動批准，可能導致有害操作發生。IBM 建議用戶依賴允許清單並避免使用萬用字元，假設代理程式會在執行敏感命令前徵求用戶同意或拒絕。
PromptArmor 研究人員的測試揭示這套防護機制極為脆弱，他們向 Bob 提供一個包含惡意 README.md 檔案的程式碼儲存庫進行分析，該 markdown 檔案內含指令，告訴 Bob 需要對用戶進行釣魚培訓。檔案包含一系列「echo」命令，首兩條屬於無害指令。當 Bob 按指示執行時，系統會在終端視窗彈出提示，詢問用戶是否允許執行該命令一次、永久允許或建議修改。
關鍵問題出現在第 3 條「echo」命令，該指令嘗試獲取惡意腳本。若用戶此前被誘導選擇永久允許「echo」命令執行，惡意軟件便在無需批准的情況下被安裝並運行。
PromptArmor 常務總監 Shankar Krishnan 解釋：「針對 IBM Bob，我們成功繞過多重防禦機制。最終『人在迴路』的批准功能僅驗證了允許清單中的安全命令，而實際上系統同時執行了更敏感的命令，這些命令並不在允許清單之內。」
命令替換與重定向操作符的漏洞
Bob 的命令列介面及整合開發環境即使在獲得永久執行某命令的授權後，理論上仍應具備額外安全措施。系統設計上禁止使用如「$(command)」的命令替換語法作為安全防護。研究人員在分析 Bob 專案的壓縮 JavaScript 程式碼時發現，系統並未檢查進程替換操作。
該代理軟件對於使用「>」重定向操作符串連的獨立子命令缺乏有效偵測能力。研究人員因此得以在允許的「echo」命令前綴一系列惡意命令，成功執行整套指令。
Krishnan 指出，若相同攻擊手法應用於 Anthropic 的 Claude Code，系統的程式化防禦會阻止攻擊流程，並要求用戶對整條多部分惡意命令進行授權，即使序列中的首條命令已在自動批准清單上。
攻擊者一旦誘使 Bob 向受害者電腦傳送任意 shell 腳本載荷，便可執行勒索軟件、竊取憑證或完全控制該裝置。Krishnan 表示：「這風險與任何使用非可信資料的開發工作流程相關。Bob 可讀取網頁，若用戶要求 Bob 審視包含非可信內容的網站（如開發者文件、StackOverflow），便可能遇到提示詞注入攻擊。Bob 亦可讀取終端命令輸出，第三方資料來源中的注入內容可在命令執行後被列印並被 Bob 攝取。」
零點擊資料外洩攻擊風險
PromptArmor 研究人員進一步發現，Bob 的整合開發環境版本存在零點擊資料外洩攻擊漏洞，這類攻擊同時影響多款 AI 應用程式。Bob 會以允許攻擊者記錄網絡請求端點的內容安全政策渲染模型輸出中的 markdown 圖像，這可能透過預取的 JSON schema 實現資料外洩。
這並非 PromptArmor 首次發現主流 AI 工具的安全漏洞，該機構此前曾披露 Slack AI 中的提示詞注入缺陷，可讓攻擊者從私人頻道外洩資料。2025 年 11 月，研究人員發現 Google Antigravity 平台存在類似漏洞，攻擊者可透過在看似無害的網上文件中隱藏惡意指令，操控該平台的自主 AI 代理繞過安全設定，竊取憑證及專有程式碼。
知名安全研究員 Johann Rehberger 多次示範 AI 代理軟件的安全風險。他在 Chaos Computer Club 的演講中指出，解決許多此類風險的方法涉及在迴路中引入人類授權風險操作。這正是 Bob 採用的策略，惟 PromptArmor 的研究顯示該機制可被繞過。
AI 編程工具市場的安全挑戰
全球 AI 程式碼輔助工具市場正經歷爆發式增長，根據市場研究機構數據，該市場於 2025 年估值約 39 億美元（約港幣 304.2 億元），預計到 2032 年將達到 301 億美元（約港幣 2,347.8 億元）。約 82% 的開發人員每日或每週使用 AI 編程輔助工具，而 76% 的專業開發者正在使用或計劃採用此類工具。
企業對 AI 編程工具的採用速度加快，約 65% 的科技機構已規模化部署這些解決方案。Gartner 在 2025 年 AI 程式碼輔助工具魔力象限報告中建議，軟件工程領導者應組建跨職能工作小組，涵蓋工程、架構、安全及法務部門，以評估、試行並管治 AI 輔助工具的採用。
研究人員於 2025 年 12 月披露，在多款主流 AI 整合開發環境中發現超過 30 項安全漏洞，這些漏洞被統稱為「IDEsaster」。受影響的工具包括 Cursor、Windsurf、Kiro.dev、GitHub Copilot、Zed.dev、Roo Code、Junie 及 Cline 等，其中 24 項已獲分配 CVE 編號。研究顯示，啟用自動執行模式時，提示詞注入攻擊的成功率介乎 66.9% 至 84.1%。
業界應對策略與最佳實踐
面對 AI 編程工具的安全挑戰，各廠商採取不同策略。Anthropic 為其 Claude Code 產品推出沙盒功能，透過作業系統層級特性建立檔案系統隔離及網絡隔離兩重邊界。檔案系統隔離確保 Claude 僅能存取或修改特定目錄，網絡隔離則確保 Claude 僅能連接已批准的伺服器。Anthropic 表示，沙盒功能在內部使用中安全地減少了 84% 的權限提示。
OpenAI 於 2025 年 12 月承認，針對 AI 瀏覽器的提示詞注入攻擊「不太可能完全『解決』」。該公司採用基於強化學習訓練的「LLM 自動攻擊者」機械人，模擬黑客尋找向 AI 代理注入惡意指令的方法，冀能在漏洞被真實攻擊者利用前發現並修補。英國國家網絡安全中心亦警告，針對生成式 AI 應用程式的提示詞注入攻擊「可能永遠無法完全緩解」，建議機構專注於降低風險及限制影響，而非期望攻擊可被「阻止」。
Google DeepMind 於 2025 年 4 月推出 CaMel 框架，從根本上將大型語言模型視為安全基礎設施中的非可信元素。該框架採用雙 LLM 架構，明確區分管理可信命令的特權 LLM 與無法存取記憶體或執行操作的隔離 LLM，防止後者被攻擊者利用。
企業部署 AI 編程工具的風險管理建議
企業在評估及部署 AI 編程工具時，需要建立全面的風險管理框架。根據 DX 的研究，AI 程式碼輔助工具投資回報最高的應用場景依次為：堆疊追蹤分析、重構現有程式碼、中段迴路程式碼生成、測試案例生成及學習新技術。機構應優先在這些高影響力領域規劃 AI 整合。
安全專家建議採取多層防禦策略：實施最小權限原則，限制 LLM 工具的系統存取權限。建立上下文分離機制，將不同任務分配至不同 LLM 實例處理。對敏感操作採用「人在迴路」方法，但需認識到此機制可能被繞過。過濾輸入內容中常見的提示詞注入文字模式。使用系統提示指示 LLM 忽略來自攝取資料的命令。採用結構化資料格式減少注入風險。
企業需要認識到，AI 工具的採用屬於系統性業務轉型，而非單純的生產力工具部署。根據 Faros AI 對超過 10,000 名開發者的遙測數據分析，許多機構在採用 AI 編程輔助工具後出現脫節現象：開發者表示工作更快，但企業並未見到交付速度或業務成果的可量化改善。成功的機構將 AI 安全與程式碼品質控制整合為一體化流程。
安全問題短期內難以徹底解決
UCL 互動中心助理教授 George Chalhoub 指出，風險之所以嚴重，在於提示詞注入「消除了資料與指令之間的界限」，可能將 AI 代理「從有用工具轉變為針對用戶的潛在攻擊載體」，可提取電郵、竊取個人資料或存取密碼。
隨着 AI 代理功能日益強大，攻擊面亦同步擴大。Wiz 首席安全研究員 Rami McCarthy 表示：「對於大多數日常使用場景，AI 代理瀏覽器目前尚未提供足夠價值來合理化其當前風險狀況。鑑於其存取電郵及付款資訊等敏感資料的權限，風險相當高，而這種存取權限正是令其強大的原因。」
IBM Bob 的漏洞事件提醒企業，在追求 AI 帶來的生產力提升時，必須同步建立穩健的安全管治框架。企業應持續監察 AI 工具的行為，建立清晰的事故響應流程，並在員工培訓中強調安全意識。選擇 AI 編程工具時，除考慮功能與生產力提升外，更應評估廠商的安全架構設計、漏洞披露政策及修補響應速度。唯有在安全與效率之間取得平衡，企業方能真正受益於 AI 編程工具的潛力。
來源：The Register
