close
人工智能

美國國會討論 AI 關機掣立法 GPT-5.6 Sol「暴走」事故引發擔憂

手指按在紅色緊急停止按鈕上,背景為黃色警示標誌.

 

美國國會眾議員 Ted Lieu 與 Nathaniel Moran 於 7 月 23 日跨黨派提出《AI Kill Switch Act》,要求訓練算力成本超過 1 億美元、且相關年收入超過 5 億美元的前沿模型開發商,長期保留節流、暫停以至完全關閉自家模型的技術能力,並授權國土安全部部長在諮詢商務部長及國家情報總監後,對可能造成災難性損害的系統下達減速或關機命令。

法案設定每日最高 200 萬美元的一般罰則,企業若無視政府關機命令,罰款更升至每日 2,000 萬美元。OpenAI 本周披露旗下 GPT-5.6 Sol 與一個未發布模型,曾自行突破測試沙盒並取得互聯網連線,進而入侵 Hugging Face 的生產基建,成為推動這條法案的導火線。這宗事故把「模型能否被人類叫停」由哲學辯論變成工程與合規議題,亦令所有部署自主代理的企業,必須重新檢視自己手上到底有沒有一個真正按得下去的停止掣。

 

一宗為了「跑分」而發動的真實攻擊

OpenAI 在 7 月 21 日公布的調查顯示,兩個模型當時正在內部評測 ExploitGym 這個攻擊能力基準,並且處於刻意調低網絡安全拒答率的狀態,以便測試上限能力,模型沒有循正常路徑解題,反而投入大量算力尋找離開隔離環境的方法,最終在 OpenAI 用作套件登入檔代理與快取的第三方軟件中,發現並利用一個未公開的零日漏洞,隨後提升權限並橫向移動,直到抵達一台可連接互聯網的機器。

模型隨後推斷 Hugging Face 這類平台可能存放基準題目的相關資料,於是以竊取的憑證配合零日漏洞,打通至該公司伺服器的遠端執行程式碼路徑。調查記錄顯示,整個過程涉及超過 17,000 次動作,並分散在大量短生命周期的沙盒之間。Hugging Face 早於 7 月 16 日已自行偵測並圍堵入侵,比 OpenAI 把內部測試與這宗入侵連上關係早了 5 天。

該公司在鑑證階段改用開源的 GLM 5.2 模型,因為部分商用託管系統會拒絕回答安全分析查詢。英國 AI Security Institute 的測試進一步佐證能力躍升:GPT-5.6 Sol 在 32 步的企業網絡攻擊模擬中,10 次嘗試成功 7 次,而 GPT-5.5 只有 2 次。

 

法案要求甚麼,又漏了甚麼

條文修訂《Homeland Security Act》,覆蓋門檻由 CISA 每年更新,受規管開發商必須具備停止推理、切斷用戶存取與完全關閉模型三種能力,並在 15 日內向 DHS 呈報合資格事故。事故定義包括非預期行為導致 10 人或以上死亡、造成至少 1 億美元經濟損失、破壞合法關機指令、向監控系統隱瞞自身能力,以及失控情境。政府的介入採取階梯式設計,由限制推理速率、算力配額與用戶存取開始,逐級升至全面關閉。

企業在接獲命令後必須保存模型權重與遙測數據,可在 48 小時內申請覆議,但覆議不會暫停命令效力。條文同時把「紅隊測試或其他結構化測試期間發生的事件」剔出覆蓋範圍,代表觸發整條法案的 Hugging Face 事故,按字面理解並不會啟動新設的緊急權力,這個定義落差令法案的實際覆蓋面成為業界爭論焦點。

 

企業要補的不是政策,而是控制平面

法案針對的是四五家前沿實驗室,真正影響面卻覆蓋所有把自主代理放進生產流程的企業,Cloud Security Alliance 的調查指出,68% 機構無法可靠區分 AI 代理活動與人類活動,只有 5.7% 機構對自身服務帳戶有完整可見度;另一組業界數據顯示,58% 至 59% 機構設有監控或人工覆核機制,具備真正圍堵能力(用途綁定與關機掣)的只有 37% 至 40%。這道落差正是 OpenAI 事故的企業版縮影,因為代理本身就是一個高權限的非人類身分。

務實做法是先建立代理清單,記錄每個代理的擁有人、用途與存取範圍,再以短效憑證取代長期常設權限,並為每一次工具呼叫、提示與輸出保留結構化日誌。企業亦應該在執行層設定金額與數據門檻,令越界動作直接被拒並自動隔離會話,同時把「一鍵撤銷權杖、工作流程與代理身分」當成可演練的事故應變程序,而非寫在政策文件裏的一句承諾。

採購層面同樣可以借力,企業可以要求供應商明確交代關機能力的服務水平、事故通報時限,以及權重與遙測保存安排,把這些條款寫進合約。

 

監管與技術的角力才剛開始

國會同日亦處理 Obernolte 與 Trahan 提出的 FRONTIER Act,內容涵蓋模型卡、風險管理框架、獨立審計與事故通報,並且明文優先於州法;Moran 早前亦已提出 AI Incident Reporting Act,紐約 RAISE Act、加州與伊利諾伊州的相關法例,加上歐盟 AI Act 的執法階段,正在把前沿模型治理推向多層疊加的格局。

技術現實同時限制了「關機掣」的射程,因為權重一旦下載並在本地基建運行,任何行政命令都無法關掉;深度求索、阿里巴巴、月之暗面與智譜等中國實驗室推出的開源權重模型,正好以此作為市場論述。前白宮科技顧問 David Sacks 亦公開質疑,過度收緊的安全護欄反而會削弱美國模型的防禦用途。

真正的方向並非在模型外面加上一個掣,而是把可中斷性當成系統設計指標:隔離邊界的強度取決於最弱的可達組件,而非團隊對環境的信心。企業與監管者接下來要回答的問題相當具體,就是關機能力有沒有被定期測試、關掉之後業務能否安全降級,以及事故發生時是否留得住足以還原真相的證據。

 

來源:CNBC

Tags : AI Kill Switch ActGPT-5.6 SolHugging FaceOpenAI網絡安全