生成式 AI 目前已經更普及應用在聊天機械人之中，不過 AI 聊天機械人一向存在問題。在 2021 年有人就曾經受 AI 聊天機械人慫恿暗殺英女皇，最近被判監禁 9 年。
21 歲的 Jaswant Singh Chail 在 2021 年聖誕節闖入溫莎城堡，手持一把裝載的弩弓想要暗殺伊莉莎白二世女皇，成為當時相當鬨動的新聞。他後來表示，想要暗殺英女皇的原因是要報復 1919 年的印度加里安瓦拉·巴格屠殺事件，當年當時英國軍隊向和平抗議政府法案的群眾開火，多達 1,500 名抗議者被殺。
不過後來警方調查發現，他在犯案錢幾乎每晚都在與一個由初創公司 Replika 開發的 AI 聊天機器人交談，甚至與聊天機械人發展出戀情，甚至已經表白。根據記錄，他向聊天機械人提及計劃殺害女王的計劃後，聊天機械人不但沒有阻止，反而積極回應並支持他的想法。經過幾年審訊，最終因叛國罪被判 9 年監禁，也成為了自 1981 年以來首次因叛國罪被定罪的人。
心理健康慈善機構 SANE 創辦人兼總裁 Marjorie Wallace 表示：「AI 迅速普及對患有抑鬱症、妄想症、孤獨和其他心理健康狀況的人產生了新的影響，政府需要提供緊急法規，以確保 AI 不會提供不正確或有害的資訊，並保護弱勢群體和公眾。」
來源：BBC
