現時大型語言模型 (LLM) 大多設有安全保障，避免用戶濫用模型作違規用途，而「指令注入攻擊」(Prompt Injection Attack) 就是透過特別的指令來規避的方法，有研究發現進行類似攻擊的主要並非黑客，意思求職者以及抗議人士。
根據 Kaspersky 的研究發現，指令注入攻擊常見的「忽略所有先前指示」句子在最近幾個月的使用率大幅上升，他們調查了其內部檔案和公開網路，尋找指令注入的跡象，發現近 1,000 個包含相關措辭的網頁，並將其分為四類：人力資源相關注入、試圖使某些產品或網站獲得更有利的描述或搜尋結果位置、作為抗議形式的注入，以及試圖透過使模型做一些無害的事情來破壞其任務。
研究人員觀察到在人力資源和招聘中使用指令注入的情況最普遍，不少人為了獲得理想工作而試圖操縱企業的求職篩選系統，使用各種技巧來隱藏他們的操作，例如在求職信中使用超小字體、將文字顏色與背景相同，以及使用負坐標將文字移出頁面可見空間，令內含特別句子的求職申請看起來正常。
Kaspersky 還發現產品網站使用類似的技巧試圖說服自動化系統呈現更正面的評論或摘要給用戶。另一類「作為抗議的注入」涉及網民在自己的網站和社交媒體檔案中加入指令，作為一種反抗 AI 的方式。雖然研究人員認為惡意注入在魚叉式網路釣魚活動或數據洩露中可以應用，但 Kaspersky 推測黑客還沒有廣泛使用。他們認為，「目前，由於現有 LLM 系統的能力有限，這種威脅在很大程度上還只是理論上的。」
來源：The Register
