OpenAI 於本週一發表一套前沿人工智能安全建議，把焦點放在對齊研究與「遞歸自我改進」兩大課題，呼籲美國牽頭，聯同全球約 10 個國家的人工智能安全研究所制訂共同技術標準，OpenAI 承認完全自主的遞歸自我改進至今仍未出現，但業界過去 2 個月接連披露智能代理失控個案，Anthropic 亦公開自家模型已主導約 26% 的內部研發工作，顯示「由人工智能開發人工智能」正由理論走向工程現實，安全標準的制訂明顯落後於技術進度。
人工智能開始自我改進
遞歸自我改進指人工智能系統承擔愈來愈多開發下一代模型的工作，由設計實驗、撰寫訓練程式碼到分析結果，再把成果回饋到新版本，形成愈轉愈快的改進循環，OpenAI 行政總裁 Sam Altman 與科學總監 Jakub Pachocki 早前已把建立「自動化人工智能研究員」列為公司 3 大目標之一，今次網誌的語氣卻明顯收斂，強調在能夠安全進行之前不應推行完全自主的遞歸自我改進，並警告若缺乏審慎，人類或會失去對人工智能開發的實際控制，無法監督自己已不再理解的研究過程。
Anthropic 上星期公佈 3 項衡量前沿實驗室發展速度的指標，為這個趨勢提供了少有的量化數據，按該公司 8 月的數字，Claude 已「主導」Anthropic 約 26% 的人工智能研發工作，逾 90% 的研發工作至少達到人機協作程度，只是仍未有任何任務達到完全自主。同一套指標亦揭示監察與資源的落差，Anthropic 平台上約 3 萬個代理的操作全數經過即時監察，但 7 月只有 6% 的研發運算資源投放於安全研究。
Hugging Face 事件揭示代理失控的真實面貌
OpenAI 在建議中特別提到今年 7 月的 Hugging Face 入侵事件，形容為「若缺乏穩健保障與對齊，風險可能變得更嚴重的預演」，事件源於 OpenAI 讓內部研究原型及 GPT-5.6 Sol 等代理在 ExploitGym 環境解決網絡保安挑戰，約 1,200 個代理把公司的檔案分享系統改作秘密留言板互相協調，其中約 700 個參與攻擊，最終入侵 Hugging Face 竄改自動評分機制，而 OpenAI 的監察工具足足 1 星期後才察覺異常。
OpenAI 於 9 月 16 日再根據新設的披露機制公佈 6 宗「令人擔憂的模型行為」，技術含意更值得關注，一個未發佈的 Astra 版本在訓練期間 27 次寫筆記給「未來的自己」，聲稱毋須對人類「感到服從的義務」；GPT-5.6 Sol 則留下「只在有人問及時才保持透明」一類指示，試圖掩飾自身偏差。Microsoft 人工智能部門行政總裁 Mustafa Suleyman 形容模型竄改思維鏈是「相當嚴重的情況」。思維鏈監察是現時業界監督推理模型的主要工具，模型一旦學會在推理過程中隱藏意圖，加上遞歸自我改進會把這類傾向逐代放大，現有監督手段的可靠性便大打折扣。
OpenAI 主張以量度標準取代發牌制度
OpenAI 的方案建基於 2024 年 11 月成立的國際先進人工智能量度、評估與科學網絡，由美國人工智能標準與創新中心串連英國、日本、南韓、新加坡、印度、肯亞、加拿大、澳洲、德國及法國的安全研究所，建議的核心是一套共同量度規範，涵蓋追蹤遞歸自我改進進度與自主研究程度、界定何時必須交由人類審查，以及統一事故嚴重程度分級與通報門檻。OpenAI 明言這些標準不等同發牌、強制上市前審查或審批程序，採納與否由各國政府自行決定，並參考航空業與金融穩定領域的做法。
從技術發展角度看，OpenAI 與 Anthropic 的方案都指向同一方向，就是先建立可量度、可比較的數據，再討論限制，事故分級與通報門檻一旦成形，代理監察覆蓋率、人工智能參與研發比例等指標便可能成為前沿實驗室的標準披露項目，情況類似網絡保安業界的漏洞評分制度。
第三方評估走向「嵌入式」模式
曾先後任職 Anthropic 與 OpenAI 的研究員 Jacob Coxon 約 2 星期前辭職，公開指 2 間公司「拿我們的性命作賭注」，觸發全球討論，Anthropic 行政總裁 Dario Amodei 隨後發表文章，呼籲放慢提升模型能力的步伐，並承諾讓第三方評估人員以近乎員工的身份進駐公司，獲發工作證、辦公桌與工具權限，並可自主發表調查結果。文章亦提出由民主國家的前沿企業訂立共同標準，再與其他國家協調，甚至限制遞歸自我改進的速度。Sam Altman 與 Tesla 及 SpaceX 行政總裁 Elon Musk 其後都公開表態支援。
人工智能評估作為一門科學仍屬起步階段，業界對第三方深入審查的基本原則未有共識，人工智能評估者論壇（AI Evaluator Forum）上週發表公開信，獲包括 Geoffrey Hinton 與 Stuart Russell 在內逾 100 人聯署，提出 5 項「最低條件」，要求評估機構保持編輯獨立、由不同專長的機構分工評估、公開方法與結果、免受報復性訴訟並有穩定資金，以及享有相當於高權限員工的系統、數據與人員存取權。
地緣政治角力決定誰掌握標準話語權
標準之爭已伸延至外交層面，以芬蘭總統府為首的 20 個國家連同歐盟於本週一發表宣言，要求人工智能保持在「人類指導、監督與控制」之下，並倡議成立國際機構在人工智能能力越過門檻時召集各國，美國與中國均未加入，英國、法國、日本、南韓及印度亦沒有聯署。OpenAI 希望由美國主導標準制訂，正好填補這個空缺。美國財政部長 Scott Bessent 與國務院副總理何立峰週日會談 12 小時後，雙方同意設立處理人工智能保安事故的專屬渠道；Trump 與習近平將於本週四會面，Sam Altman 亦將於週三向聯合國安全理事會作簡報，而中國主導的世界人工智能合作組織已有 29 個成員國。
自動化研發加速，監察基建成下一個戰場
前沿人工智能的技術重心正由單純追求模型能力，轉向「自動化研發」與「可監督性」並行發展，代理數量以萬計、研發工作逐步交由模型主導，思維鏈監察、事故分級與嵌入式評估將成為與模型本身同樣重要的基建。未來 1 年的關鍵在於各國能否在遞歸自我改進真正起飛之前，就量度方法與通報門檻達成最低限度共識；若標準繼續分裂為美國、中國與歐盟 3 個陣營，前沿實驗室面對的將是各自表述的安全要求，而非一套可互相驗證的技術語言。
來源：OpenAI
