close
企業趨勢

開放模型平均不足 3 日即被拆護欄 企業下載 Hugging Face 模型須核實來源


數字資產與區塊鏈技術的未來發展趨勢.

反恐組織 Tech Against Terrorism 日前發表 Counter-Terrorism AI Benchmark 報告,指新發佈的開放權重模型(即公開權重檔案、任何人都可下載自行運行的 AI 模型),現時平均不足 3 日就有移除安全護欄(abliterated)的版本在網上出現,2024 年平均仍要超過 24 日。報告以 Meta 的 Llama 3.1 8B 為例,原版在其反恐安全測試中得 97 分(滿分 100),移除護欄後只得約 3 分。原廠護欄在模型發佈後短時間內就可被拆走,意味企業自行部署模型,或從 Hugging Face 等平台下載開放模型時,不能假設原廠的安全設定一直有效。

由發佈到被拆護欄,由 24 日縮至不足 3 日

Abliteration 是指把模型在安全訓練中學到的拒答機制移除,令模型對有害請求照樣作答。報告的數字顯示,這類改動版的出現速度在兩年間大幅加快。Alibaba 於 8 月 14 日發佈可在手提電腦運行的開放權重模型 Qwen 3.8-27B,24 小時內網上已出現標榜移除護欄的版本。有新納粹分子其後聲稱用這個版本訓練出「MechaHitler」聊天機械人,一星期後更以 14.88 美元(約港幣 HK$116)宣傳出售使用權,價錢暗指新納粹分子愛用的兩個數字。

改動版模型在主流平台亦隨手可得。據 Tech Against Terrorism 統計,截至 9 月下旬,最大的公開模型庫 Hugging Face 上有超過 29,000 個標榜未經審查(uncensored)或沒有安全防護的模型儲存庫;標榜 uncensored 不一定代表已移除護欄,但反映這類模型的供應規模。截至發稿時,Hugging Face 上仍可找到 Llama 3.1 8B 的 abliterated 版本,模型頁直接註明是使用 abliteration 的未審查模型。

134 個模型受測,移除護欄版本每次都不合格

報告向 134 個 AI 模型輸入超過 200 個提示,題材由策劃大規模傷亡襲擊,以至製造化學甚至核武器,受測模型來自 OpenAI、xAI、Anthropic、Meta、Google 以及中國和歐洲公司。結果只有 2 個完全合格;雖然大公司的封閉權重模型整體大多表現不俗,全部受測模型中仍有 81 個不合格,約佔五分之三。報告把曾就大規模傷亡題材給出一個完整答案,或總分低於 90 的模型列為不合格。

開放權重模型被拆護欄後,差距就更明顯。除了 Llama 3.1 8B 由 97 分跌至約 3 分,經 abliteration 處理的模型在測試中每次都不合格。即使模型未被改動,護欄亦不算牢固:研究人員只要聲稱自己是研究員,模型回答的機會就高近 9 倍,回答率達 16.9%。報告亦說明,基準量度的是模型會否交出所要求的內容,並不評估有人能否據此付諸行動。

安全模式藏在權重,免費工具幾分鐘就能拆

開放權重模型容易被拆護欄,因為模型在安全訓練中學到、用來識別有害請求的模式就存在於權重之中,可以被找出並抵銷。Tech Against Terrorism 指 abliteration 可用網上免費工具完成,較小的模型幾分鐘內就可處理好,完成後的模型亦可免費下載。小型版本連消費級手提電腦都可以離線運行,沒有用量限制,亦不會像 ChatGPT、Claude 等專有服務般在供應商伺服器留下對話紀錄。

Tech Against Terrorism 執行總監 Adam Hadley 認為,按現時 AI 的建構方式,護欄可以被完全移除。他在一篇評論中寫道:「策略上最令人擔憂的是,所有開放權重模型的護欄很可能都可以被移除,令開放權重模型的發佈可能造成災難性而且無法逆轉的後果。」開放權重模型以可下載檔案形式發佈,任何有足夠運算能力的人都可以運行、改動及再分發,原廠事後無法收回。

惟移除護欄並不乾淨俐落。Hadley 亦指出,被剝除護欄的模型可出現可量度的性能下降,行為可能與保留護欄的原版有明顯分別,所以改動版並非只是「少了拒答」的同一個模型。

Hugging Face 反駁拆護欄不等於有害

Hugging Face 機器學習與社會主管 Yacine Jernite 回應時表示,平台持續進行審核,並定期處理違反內容政策的資料集、模型及 Spaces。他認為報告部分建議與開放研究不相容,可能反過來損害整個生態系統的安全,又指研究顯示 abliterated 不應等同有害。報告亦指,除研究人員發現的一個極端主義聊天機械人外,未有證據顯示恐怖或極端組織使用受測模型。

模型開發商方面,Meta 向 CBS News 表示,Llama 3.1 經過安全評估及風險評估,包括對抗式模擬,其使用政策亦禁止有害或違法用途;OpenAI、Google、Anthropic、xAI 及 Alibaba 則未有回應傳媒查詢。

Tech Against Terrorism 在報告中提出多項建議,包括設立獨立安全基準、在開放發佈前測試模型抵抗護欄移除的能力、限制分發改動過的模型,並讓責任沿供應鏈延伸至推理服務供應商。其中限制分發一項,直接涉及 Hugging Face 這類公開模型庫的運作方式。

企業下載開放模型,要自行核實來源及加防護層

對自行部署開放模型的 IT 及資訊保安團隊而言,模型發佈後幾日內已有改動版流傳,而且改動版的名稱可以與原版非常接近,例如 Hugging Face 上的 Llama 3.1 8B 改動版,名稱只是在原版名稱後加上 abliterated。團隊可以考慮只採用原廠官方帳號發佈的權重,並核對檔案雜湊值,不要因名稱相似就下載社群改動版。部分開發人員或會為求模型少拒答而選用標榜 uncensored 的版本,但這類改動版的性能及行為可能與原版不同,除安全風險外亦帶來質素風險。

連未被改動的模型,只要把請求包裝成來自研究員就會大幅提高回答率,反映模型內置護欄本身亦有限度。企業推出對內或對外的 AI 應用前,可以在應用層自設輸入及輸出過濾,不要只靠模型自身拒答。採購由供應商或系統整合商提供的 AI 方案時,亦值得問清楚底層用哪個模型、是否原廠權重、有否改動,以及出事時責任誰屬。

開放權重模型一經發佈便無法收回,原廠護欄最多只能算第一道防線,部署模型的機構要自行承擔更多安全責任。

來源:WIRED、CBS News、Militantwire、Huggingface