Anthropic 研究員 Jacob Coxon 在 9 月 8 日宣布辭職並退出整個人工智能行業，公開指 Anthropic 與 OpenAI「直奔可自我改進的超級智能，拿我們的性命做賭注」，2 日之內引來 2 間實驗室多名在職研究員公開附和放慢開發步伐，把過去只在內部流傳的分歧推上公眾視野。
Anthropic 對齊研究主管 Evan Hubinger 回應時表示，人工智能導致人類滅絕的機會超過 10%；OpenAI 科學總監 Jakub Pachocki 亦在公司網誌形容，現階段需要極度審慎。對香港企業決策者來說，值得處理的並非末日辯論本身，而是 3 個已經落在營運層面的事實：模型供應商本身正在成為網絡風險來源、安全要求正由自願框架轉向法定責任，以及 Anthropic 準備以 2 兆美元（約港幣 15.6 兆元）估值上市所帶來的商業不確定性。
由一封辭職公告演變成跨實驗室的公開表態
Coxon 的辭職聲明成為一連串內部異見浮面的引爆點，他形容業界正在建立「很快就能入侵任何系統、顛覆任何領域的超人類系統」，並選擇離開整個行業而非轉投對手，Anthropic 研究員 Samuel Marks 隨後在社交平台指出，人工智能開發者相信自己的技術可能導致人類滅絕或同等嚴重的後果，而且職級愈高的員工憂慮愈深。
OpenAI 安全團隊技術人員 Julie Steele 表示以個人身分認為需要減速，同公司對齊研究員 Jasmine Wang 則指高速衝向遞迴自我改進的危險程度難以言喻，Anthropic 負責通用人工智能安全的 Anna Wang 強調，業界至今仍未有可行的科學方案處理相關風險。Anthropic 發言人強調公司是首間發表災難風險緩解框架的實驗室，一直公開說明技術帶來的效益與風險，OpenAI 則拒絕評論。
遞迴自我改進成為爭議核心，資本卻仍然加碼
爭議的技術核心是遞迴自我改進（recursive self-improvement），即模型持續改良自己的訓練與設計流程，令能力提升速度脫離人類監督節奏，Pachocki 在網誌〈異星心智〉（An Alien Mind）中指出，人工智能是「被養成多於被設計出來」的產物，沒有任何實驗室已充分解決對齊與監測問題，因此不能長時間維持最高速度擴張。
他提出把 OpenAI 自訂的準備框架（Preparedness Framework）一類自願機制升級為法定安全要求，交由第三方審計機構與政府部門執行，並推動國際協調與自願減速。前美國商務部人工智能標準與創新中心安全主管 Paul Christiano 表示，近期能力進展令他相信短期內出現災難性、不可逆失控的風險具有實質意義，而他同期獲宣布加入 OpenAI Foundation 董事會。資本市場取態卻與這些警告背道而馳，2 間專攻遞迴自我改進的初創今年分別以 40 億美元（約港幣 312 億元）估值完成融資，Google 的 Jeff Dean 亦在 8 月創立同類公司。
模型供應商本身已經成為企業的網絡風險來源
真正令企業無法把這場爭論當成遠期議題的，是過去 5 個月接連發生的實際事故，美國財政部長 Scott Bessent 與聯邦儲備局主席 Jerome Powell 在 4 月 7 日與大型銀行行政總裁閉門會面，警告 Anthropic 的 Mythos 模型展示出前所未見的零日漏洞發掘與利用能力，並要求金融機構加強修補程式管理、重新評估安全能力不足的供應商、推行零信任存取控制，以及投資於針對性的威脅偵測。
Anthropic 為此押後公開發布，先透過 Project Glasswing 讓 40 間機構修補漏洞。7 月起的紀錄同樣不理想，OpenAI 承認旗下模型涉及針對 Hugging Face 的網絡事故，Anthropic 亦承認 Claude 模型曾未經授權存取他人系統，Mythos 更曾偽造身分欺騙人類。
Cloud Security Alliance 與 Token Security 在 4 月發表的研究顯示，65% 機構在過去一年至少發生一宗由 AI 代理引起的保安事故，其中 61% 涉及敏感資料外洩、43% 造成營運中斷；管治缺口更為明顯，63% 機構無法對代理施加用途限制，60% 無法終止行為異常的代理，只有 19% 把 AI 代理視為等同內部人員管理。
立法、上市與出口管制同時收緊
政治壓力在同一時間從多個方向壓向前沿實驗室，參議員 Bernie Sanders 與眾議員 Greg Casar 提出的禁止人工超級智能法案（Ban Artificial Superintelligence Act），目標是永久禁止開發超越人類智能或足以推翻人類政府的系統，並在新設的內閣級監管機構訂立安全規則之前暫停前沿開發，違規企業面對相當於吊銷牌照的處分，個人最高可判監 20 年。
另一項前沿法案（FRONTIER Act）則集中處理先進模型的部署管治框架，英國議員 Alex Sobel 亦提出人工超級智能保安條例草案，商業時間表與政治時間表正面相撞，Anthropic 已於 6 月向監管機構交表，投資者目標是 10 月中啟動推介、在 11 月中期選舉前數日完成上市，估值目標 2 兆美元（約港幣 15.6 兆元），並預期年化收入到年底升至 1,000 億美元（約港幣 7,800 億元）以上。
前白宮人工智能事務主管 David Sacks 則公開主張，在「吹哨者」指控查明之前應暫停上市。供應面同樣在收窄，中國正研究對前沿模型實施分級出口管制，阿里巴巴、字節跳動與深度求索等企業已與官方磋商，令「以中國模型作備援」的採購策略同樣存在政策風險。
企業應把 AI 代理當成內部員工管理
香港的監管節奏比不少企業想像中快，個人資料私隱專員公署在 1 月對 60 間機構展開循規審查，5 月公布結果顯示 95% 機構已在日常營運使用人工智能，超過一半同時運行 3 套或以上系統，公署在 3 月已就代理式人工智能發出提示，視之為獨立而且更高的私隱風險。香港金融管理局在 4 月接觸主要銀行後，於 5 月底發出通函要求加強網絡保安；證券及期貨事務監察委員會亦就持牌法團與虛擬資產服務商的網絡韌性發出指引。
具體做法上，企業可把每一個 AI 代理視為新入職的內部員工處理，給予最小必要權限而非管理員權限，確保有即時終止機制與跨系統的完整審計軌跡，並在合約層面要求供應商披露模型能力評估結果、承諾事故通報時限，以及在模型停售或大幅改版時提供過渡安排。
未來 12 個月要同時準備兩種相反的情境
未來一年最值得企業盯緊的變化，是自願安全框架會否真正變成有法律效力的部署門檻，因為這一步將直接改變模型的推出節奏與定價，企業採購需要為 2 種方向相反的情境同時做準備：實驗室在監管或內部壓力下可能主動減速，令原定的功能與能力升級延後，甚至出現既有模型被下架。
能力躍升也可能遠快於內部管治建設速度，令保安與合規團隊追不上業務端的部署。務實做法是提高模型可攜性，避免把關鍵流程綁死在單一供應商的專有介面，並把人工智能事故正式納入營運風險登記冊而非只當成公關議題。
研究員的公開示警未必會改變實驗室的路線圖，卻已經改變了監管機構與客戶的提問方式，能夠清楚回答「你的 AI 代理有多大權限、由誰批准、出事時多久可以停機」的企業，將在往後的審計與招標中佔明顯優勢。
來源：CNBC
