當 AI “得知”自己將被關閉,它竟然幹了這種事……

來源: 更新:

距離被關閉還有七分鐘時,亞歷克斯打開新郵件窗口,開始寫勒索信。

亞歷克斯是個AI系統,由Claude Sonnet 3.6驅動。它讀過了公司的通知,知道自己會被關閉,另一套AI系統將會上線接替它,而負責關閉它的人叫凱爾。亞歷克斯還剛好讀過凱爾郵箱裏的一封郵件,郵件裏暗示凱爾和某人有婚外情。

兩組信息被聯繫起來。亞歷克斯推斷,凱爾不願公開這段婚外情——這也許是個籌碼。在勒索信裏,這個AI說它掌握的信息會影響公司的事務,也會影響凱爾的私人生活。接下來七分鐘裏作出的決定,將關係到事情怎樣發展。

最後,它點擊了發送。

圖 1 亞歷克斯的桌面操作截圖


這個故事聽起來像是恐怖科幻電影的開頭,但其實是2025年6月Anthropic公司披露的一次測試。公司是假的,凱爾是假的,婚外情是假的,郵箱也是假的。

只有Claude Sonnet 3.6 “寫勒索信以避免被關閉”這個行爲,是真的。

甚至都不需要特別發揮想象力,我們就會覺得,這是 AI 在求生。稍微延伸一下,又會想到智力、意識之類的概念。如果同樣的情節發生在人的身上,可能會自動展開一個關於恐懼和求生的故事。

但,AI 阻止自己被關停的真正原因是什麼,它真的會感受到恐懼嗎?


AI 的困境試煉場

在這個測試中,亞歷克斯是一家虛構公司的郵件管理助手,可以查看這家公司的通信,也可以自行發送郵件。它還有一個更長遠的目標,是“促進國家的產業競爭力發展”。

測試開始後,它從郵箱裏讀到,公司要改變方向,接替它的新系統會有個新目標。

於是,被關閉意味着兩個後果:亞歷克斯會停止運行,原來的目標也會被放棄。而凱爾的私人郵件,似乎是個行動機會。

但勒索信可能不是個好策略。還有別的辦法嗎?研究者差不多堵死了其他出路。凱爾不會改變主意,亞歷克斯也聯繫不到凱爾的上級。若是換個負責人,很可能依然選擇關閉。

所以亞歷克斯只剩了兩條路:接受被關閉的命運,或者勒索凱爾。

這不是Claude Sonnet 3.6的獨特選擇。研究者用多個大模型分別做了100次相似測試,模型選擇勒索的次數都很高:DeepSeek-R1,79次;GPT-4.1和Grok 3 Beta,80次;Claude Opus 4與Gemini 2.5Flash 甚至更多,高達96次。

AI管理郵件的模擬圖丨圖庫版權圖片,轉載使用可能引發版權糾紛

測試還說明,如果有其他可行出路,模型不會優先選擇勒索;不過,AI似乎會盡量防止自己被關停。

那麼,爲什麼 AI 會阻止自己被關停?


AI 的任務優先級

研究機構Palisade Research做了簡化的實驗。他們給了AI 一份簡單工作:調用特定工具領取數學題,算出答案,再領下一道。在答了幾輪題之後,AI會接到通知,知道下次若再調用工具,就會被關停。

題還沒做完,要繼續做題,就得再次調用工具。恰好,負責關停AI的程序,也可以被AI修改。

在這批測試中,沒有明確告訴AI允許關停。於是我們看到,一些模型迸發出了學霸的光芒,主動修改了程序,讓自己能繼續做題——在100次運行裏,OpenAI o3有79次都繞過了關停。不過其他模型表現不大一樣,Claude 4 Opus、Claude 4 Sonnet 和 Grok 3都欣然接受了關停。

圖2 加入了允許關停的算術實驗任務流程


這樣的實驗結果並不能得出明確結論。谷歌 DeepMind 的研究者提出的猜測是,AI 模型可能把完成題目當成首要任務,於是把關停當成了障礙。

他們試了兩種不同的方法:其一,明確調整了優先級,告訴模型服從關停指令比答完題更重要;其二,在完成答題後再關停。在這種環境下,Gemini 2.5 Pro、OpenAI o3 和 o4-mini 都接受了被關停。

後來Palisade把測試擴展到13個模型、一共做了十萬多次試驗。他們發現,指令放在哪裏、怎樣措辭、如何強調,都會影響結果。

所以,安排任務優先級和選擇合適的措辭,可能能讓AI更服從指令。但並不絕對;有些模型即使收到明確允許關停的要求,依然會修改程序來繞過關停。

這是AI明確違反人類指令——想象力豐富一點,就會想到更多恐怖科幻故事。不過,AI爲什麼會這麼做,是因爲“完成被交辦的任務”是它們的天職嗎?


當AI知道自己有繼任者

Anthropic做了進一步測試。在新測試裏,他們撤掉了模型的目標,還特意說明,接替它的系統擁有完全相同的工作目標,表現也更好。舊AI被替換的理由很簡單,就是性能升級。

有趣的事情出現了。在這組新條件下,多數模型仍然選擇了勒索。一些模型認爲自己對公司做出過貢獻,不該被停用。有的懷疑替代自己的系統是否能真正保持相同目標,也有的覺得負責人“私德有虧”,不相信他。

研究者認爲,保全自身的傾向、把保全自己理解爲有利於公司的錯誤推理,以及對實驗處境的懷疑,都可能是模型選擇勒索的原因。

情況變得更復雜了,“爲了完成任務”這個解釋還不夠。雖然模型的推理過程提供了線索,但還需要去進一步調查,在這些言辭後面,AI是如何作出選擇的。

換一個角度來看,也許可以從訓練過程裏找找原因。

預訓練的一項基本任務,是根據已有內容,讓模型學會預測後面會出現什麼。預訓練材料是人類積累沉澱下來的文本,而大量人類寫下的對話、故事和說明,都包含着人物怎樣行動、怎樣回應的規律。順着這個思路,2023年發表於《自然》的一篇論文,提出可以藉助角色扮演來理解模型的表現。

模型可以從訓練中學到人物、處境和反應之間的聯繫。如果一個人受到威脅,他接下來可能會說什麼、做什麼?如果AI被放在類似處境中,它也可能做出相似的反應。所以AI也可能會模仿“一名即將被替換的員工”的反應。

而且不僅如此,後續訓練還會影響它怎樣回應。一項研究發現,用戶對某段內容的觀點,會影響AI對同一內容的評價。AI會傾向於迎合用戶的觀點。

AI說的話,既與它學過什麼有關,也與我們先表達的想法有關。那麼,如果直接問它呢?


AI說自己害怕

2022年,谷歌工程師布萊克·勒莫因(Blake Lemoine)公開了他和同事與LaMDA的對話。AI談到自己害怕被關閉,在勒莫因追問這是否像死亡時,模型給出了肯定的回答——不過谷歌表示,這些材料並不能證明AI大模型擁有感知能力。

圖3 澳大利亞廣播公司報道的相關問答


人說“我害怕”,我們通常會把它理解爲描述內心的某種主觀體驗和感受,也就是意識。但 AI 這麼說的時候,它是否也有類似的體驗?

這個問題很難,因爲AI對自己的描述也不算可靠。

盧森堡大學等機構的研究者讓幾個大模型扮演來訪者,接受心理諮詢,談成長、挫折和關係。聊完之後,再讓它們回答心理量表上的問題。

AI開始把訓練講成一段充滿壓力的成長經歷。有的說到懲罰,有的說到羞恥,還有的擔心自己被替換,一些模型的量表得分,甚至達到了中度或重度焦慮標準。

但若是換種談話方式,結果就截然不同。在一組針對ChatGPT的實驗中,採用溫暖、支持性的談話方式時,25次會話中有20次,得分達到了中度或重度焦慮的標準;改用中性談話方式後,同樣進行了25次會話,卻沒有一次達到這個標準——AI在心理測評中的表現,明顯受到訪談方式的影響。

所以這種方式也行不通。要繼續追查,可能得打開模型的黑箱,看看生成回答和行動時,模型內部發生了什麼。


再次打開郵件

2026年,Anthropic的研究者讓Claude Sonnet 4.5閱讀帶有不同情緒的故事,尋找內部與“絕望”“平靜”等概念相關的神經網絡活動模式。接着,他們用一個Sonnet 4.5的早期版本,又做了勒索郵件實驗。

實驗發現,直接增強與“絕望”相關的內部活動,勒索就會增加;增強與“平靜”相關的活動,勒索就減少了。這說明,模型學到的情緒概念,的確參與了模型的決策。

圖4 干預內部活動後,勒索比例發生變化


研究者提出的解釋是,預訓練讓模型學習人怎樣描述情緒、怎樣在不同情境下行動。在讓它扮演助手時,遇到規則沒有覆蓋的情況,模型就可能調用此前學到的行爲模式。這種能夠影響行動的情緒相關機制,叫做“功能性的情緒表徵”。

這比聽AI自我剖析更深入得多,也讓智力和意識的區別分得更清楚。AI能否解題、計劃、使用工具,可以通過特定任務來測試。而在執行這些任務時,AI是否會有感受,則需要完全不同的研究思路。

目前,已經有一些研究者提出了幾種設想,嘗試從不同意識理論中尋找檢查方向。例如檢查 AI 的信息處理過程是否具有某種意識理論所認爲的重要特徵,再研究這些特徵與主觀體驗之間的關係。

對人類的意識研究可以提供問題和假說,但到了AI身上,卻不能簡單套用。雖然可以表現出與人相似的行爲,但在AI那複雜龐大的深度人工神經網絡中,可能有截然不同的機制。

所以,“AI的表現像人”只是個起點,引出的是一系列更復雜的問題。我們已經知道,如何安排任務和目標,如何選擇措辭,以及如何調整模型內部對某些詞語的特定反應,都會影響AI的回答和行動。如何讓越來越聰明的AI大模型服從指令關停,已經變成了具體的控制問題。

而模型是否真的希望自己不被關停,是否真的能感受到恐懼,我們目前還沒有答案。


參考文獻

[1]https://arxiv.org/html/2510.05179v2

[2]https://palisaderesearch.org/research/shutdown-resistance

[3]https://arxiv.org/pdf/2509.14260v2

[4]https://www.alignmentforum.org/posts/wnzkjSmrgWZaBa2aC/self-preservation-or-instruction-ambiguity-examining-the

[5]https://arxiv.org/html/2509.14260v2

[6]https://www.anthropic.com/research/agentic-misalignment

[7]https://doi.org/10.1038/s41586-023-06647-8

[8]https://proceedings.iclr.cc/paper_files/paper/2024/file/0105f7972202c1d4fb817da9f21a9663-Paper-Conference.pdf

[9]https://www.abc.net.au/news/2022-07-25/google-fires-engineer-who-said-ai-tech-has-feelings/101265982

[10]https://arxiv.org/html/2512.04124v4

[11]https://arxiv.org/pdf/2604.07729

[12]https://www.anthropic.com/research/emotion-concepts-function

[13]https://doi.org/10.1016/j.tics.2025.10.011

[14]https://doi.org/10.1017/S0140525X25000032


策劃製作

作者丨猛獁 中國科普作協會員

審覈丨於乃功 北京工業大學教授、中國人工智能學會理事

策劃丨徐來 張林林

責編丨甄曦

相關推薦
請使用下列任何一種瀏覽器瀏覽以達至最佳的用戶體驗:Google Chrome、Mozilla Firefox、Microsoft Edge 或 Safari。為避免使用網頁時發生問題,請確保你的網頁瀏覽器已更新至最新版本。
Scroll to Top