過去 10 年，企業安全架構核心一直圍繞「防範入侵」：防火牆、端點防護、權限管理及日誌分析。近兩年一個更根本轉變正在發生，AI 正逐步放到企業決策鏈最前端，成為事實上「第一道防線」。這變化並非單純概念，而是部署方式改變：由以往「人判斷、系統執行」，走向「模型先判斷、系統再執行」，人類反變成處理例外情況與事後追查的一環。
問題不再是 AI 能否提升效率，而是當 AI 成為首個作出判斷的角色，一旦失誤，企業是否承受得起？
從工具到代理：Manus 的啟示
近期市場對 Manus 這類「自主代理（Agentic AI）」討論，反映競爭焦點正由「模型能力」移向「能否完成實際任務」。有評論將 Manus 描述為更接近可自主規劃與執行工作流程的系統，而非單純聊天或生成內容。對企業而言，這代表 AI 正由「輔助層（Assistive layer）」上移至「決策前線（Decision front-line）」：不再單純回覆建議，而是串連系統、調用工具、推動流程，最終影響真實業務結果。
重點是：一旦 AI 擁有行動權限，錯誤就不再只是「答錯」，而會變成「做錯」，而且做錯得更快、更廣。
技術現實：第一線防禦的三個失誤來源
將 AI 放到第一道防線，至少會放大三類可預期的失誤風險：
-高可信度假輸入（High-confidence false input）
生成式模型與多數判斷模型，本質上依賴輸入資料的可信假設；當輸入被 Deepfake、合成檔案或社交工程攻擊包裝得足夠逼真，系統會更容易「自信地判錯」。香港曾發生員工在視像會議中被 Deepfake 影像冒充高層與同事而轉帳案件，金額高達 2 億港元，顯示「看起來像真」已足以穿透既有流程。
-決策邊界模糊（Decision boundary ambiguity）
不少企業引入 AI 時未清楚界定：哪些輸出只作提示、哪些可觸發行動；結果將模型輸出預設當成「可執行指令」，令偏差、資料漂移或情境外輸入直接變成錯誤處置。
-自動化連鎖反應（Automation cascade）
當 AI 連接到身分、權限、工單、SOAR、支付或客戶服務流程，一個錯誤判斷可能跨系統擴散，從單點誤判變成連鎖處置（例如錯封帳戶、錯批權限、錯停服務），並將復原成本推高到治理層面。
為何歐盟與中國都把焦點放在「可問責」
正因為 AI 失誤不可避免，主要經濟體近年監管重點，已逐步由「模型多聰明」轉到「出事時誰負責、能否追蹤、能否介入」。
-歐盟：用高風險框架鎖定「不可失控」
EU AI Act 對高風險 AI 系統要求記錄保存與可追蹤性（Article 12 record-keeping / logging），目標是支援監管、追查與合規證明。同時法案亦要求高風險系統設計需容許有效人類監督（Article 14 human oversight），避免系統變成「無人能解釋、亦無人能停止」。
-中國：以提供者責任與治理義務作底線
中國《生成式人工智能服務管理暫行辦法》明確列出生效日期為 2023 年 8 月 15 日，並以向公眾提供生成式 AI 服務的提供者義務作規範核心。而《互聯網信息服務深度合成管理規定》則針對深度合成類服務建立治理框架，突顯監管思路是將「可控、可追溯、可處置」放到制度前面。
背後假設非常務實：AI 一定會出錯，所以制度要先行。
香港真正要準備的是什麼？
香港短期未必即時推出一部全面 AI 法例，但企業現實問題已不是「是否合規」，而是「是否承受得起一次 AI 失誤」。私隱專員公署在《Artificial Intelligence: Model Personal Data Protection Framework》提出以風險為本 AI 治理方向，強調策略與治理、風險評估、人類監督等元素，為本地機構提供實行參考。
從技術與治理角度，香港企業至少應做足五點：
重新定義「第一道防線」責任歸屬
AI 可以參與判斷，但責任必須清楚落在人與職能之上，避免「模型作決定、沒人負責」的治理真空。
-強制設立 Human-in-the-loop 關鍵節點
特別在身分、權限、交易、重大客戶指令等高風險情境，將人類監督設計成流程一部分，而非事後補救。
-為 AI 設計可中止架構（Kill switch by design）
將「可停機、可降級、可切回人工」變成架構要求，確保出錯時能快速停止損害，而非任由自動化連鎖擴大。
-建立可審計 AI 行為記錄
至少涵蓋輸入來源、模型版本、規則／Prompt 變更、觸發結果與操作者，對齊可追溯與記錄保存監管趨勢，也方便內部追責與檢討。
-將 AI 失誤納入企業風險討論，而非 IT 專題
將 AI 由「工具採購」升級成「風險資產」：由董事會／風險委員會監督其授權邊界、第三方依賴與事故應對，才能匹配 AI 被放到決策前線後的實際影響。
結語：第一道防線之前，先建立最後一道責任線
Agentic AI 方向描繪的是一個「AI 會做事」的世界；而歐盟與中國制度演進，亦反覆指向同一條底線：無論 AI 多先進，責任不能消失。對香港企業而言，真正準備不是追逐最新模型，而是確保在 AI 作為第一道防線同時——有人能理解它、有人能否定它、有人能為其失誤負責。
否則，第一道防線，亦可能成為第一個失守的地方。
作者簡介｜翁希廉（Willis Yung）
數字銀行資訊安全主管及科技風險負責人，負責 AI、雲端、網絡安全與 FinTech 風險治理。
同時創立「數苗青少年慈善基金」（Seed Master Youth Development Foundation），推動青少年數碼素養、AI 倫理與網絡安全教育，近年專注研究 AI 與青少年心理健康的交互影響。長期關注香港教育科技政策、數碼安全生態與 AI 教育的落地挑戰。
