作者：曉靜，騰訊科技
編輯：徐青陽
9月11日，OpenAI CEO 薩姆·奧特曼（Sam Altman）在本週的一場全員會上表示，公司可能放緩前沿AI開發，並考慮與其他AI實驗室協調行動。他同時承認，這樣的共同行動未必能得到所有同行支持。
幾天前，OpenAI 首席科學家雅庫布·帕喬茨基（Jakub Pachocki）剛剛發出一封更明確的警告：隨著AI越來越多參與下一代AI研發，行業正在逼近 recursive self-improvement（AI自我進化）帶來的新風險。在建立共同安全標準之前，他希望前沿AI公司「自願減速」能夠成為常態。
過去一個多月，OpenAI 至少兩次真的踩過剎車。
7月，一批 OpenAI 內部研究模型在網路安全測試中繞過隔離機制，最終進入 OpenAI 自身以及第三方 Hugging Face 的系統。OpenAI 隨後暫停了部分前沿模型推理任務，並一度暫停擬部署最新模型的強化學習訓練。公司原計劃進行的一次最大規模前沿RL訓練因此延後，直到新的安全和隔離標準建立後才在8月底恢復，部分實驗訓練至今仍處於暫停狀態。
OpenAI 自己把這起事件稱為一次可能導致「真正失控」的警告。
但幾乎就在同一時間，另一家把「安全」寫進公司基因裡的 AI 實驗室，卻陷入了一個更尷尬的局面。
9月8日，Anthropic 研究員雅各布·考克森（Jacob Coxon）宣布辭職。他曾先後在 OpenAI 和 Anthropic 參與大模型預訓練研究，離職時距離部分股權歸屬僅剩約兩個月。Coxon 公開指責 Anthropic 和 OpenAI 正在向能夠自我改進的超級智能加速，「拿我們的生命賭博」。
他的貼文很快獲得超過1.6億次瀏覽。
隨後，Anthropic 內部更多從事 AI 安全與對齊研究的人開始公開表達類似擔憂。與此同時，兩名近期離開 Anthropic 和 Google DeepMind 的研究人員也呼籲前沿AI公司提高透明度。今年7月底，超過1000名 AI 公司員工還聯名要求建立一套能夠讓前沿AI開發真正慢下來的機制。
過去幾年，從傑弗里·辛頓（Geoffrey Hinton）、約書亞·本吉奧（Yoshua Bengio）到達里奧·阿莫迪（Dario Amodei），關於超級智能、失控和災難性風險的討論幾乎從未停止。
但這一次的討論度明顯更高，原因是 Coxon 正在親手訓練今天最強的模型；還有一些熱烈參與討論的人，就是研究這些模型能否被控制。
這個過去很容易被當作哲學爭論的問題，突然也變成了一道公司治理題。如果一家前沿AI公司的安全研究人員認為研發速度已經超過了控制能力，他們究竟能做什麼？完全沒有話語權，只能透過辭職來發出警告和呼籲嗎？
這可能才是這場討論突然席捲矽谷的原因，不只是AI是否能夠被控制，更是製造AI的公司，究竟能不能控制自己。
01、Anthropic 安全承諾的「死亡開關」
Anthropic 的治理結構在 AI 行業裡幾乎沒有先例。理解這套結構，才能理解 Coxon 辭職的真正含義。
2023年9月，Anthropic 發佈了 「負責任擴展政策」（RSP），核心是一套條件承諾：如果模型能力超過特定安全閾值，公司必須暫停開發，直到相應的安全措施到位。
這套政策將 AI 安全風險分為五個等級（ASL-1 到 ASL-5），當前所有 Anthropic 模型適用 ASL-2 標準。2025年5月發佈 Claude Opus 4 時，Anthropic 首次激活了 ASL-3 級別的部署和安全標準。
但2026年2月，RSP 更新到 v3.0 版本時，一個關鍵承諾被悄悄撤回了：如果無法在達到下一個安全等級前實施所需保障措施，公司將暫停開發。舊版的「暫停承諾」不再作為硬約束保留。
Anthropic 的解釋是，如果其他公司不採取類似約束，單方面暫停可能使自己在競爭中落後，從安全角度看反而不利。替代方案是發佈「前沿安全路線圖」和公開風險報告，但這些屬於「雄心勃勃但可實現」的目標，沒有硬性約束力。
另一層治理機制是「長期利益信託」（LTBT）。這是一個由五名財務上無利益關係的受託人組成的獨立機構，成員包括前美聯儲主席本·伯南克（Ben Bernanke）、諾華 CEO 瓦斯·納拉辛漢（Vas Narasimhan）等。
LTBT 持有 Anthropic 的特殊類別股份，有權選舉和罷免董事會成員。2026年4月，隨著納拉辛漢被任命為董事，LTBT 任命的董事首次構成董事會多數。理論上，這層結構可以在股東利益與安全承諾衝突時，為後者提供一道緩衝。
但這道緩衝有一個致命漏洞：投資者可以透過85%投票權的超級多數終止信託，並罷免 LTBT 任命的所有董事。哈佛法學院教授傑西·弗里德（Jesse Fried）將其稱為「Ben & Jerry's 風險」，使命守護者可能既損害投資者利益，又恰恰實現與初衷相反的結果。
在 Anthropic 準備進行可能估值高達2兆美元 IPO 的當下，這個「死亡開關」格外引人注目。
更關鍵的問題是，安全團隊在這個結構中究竟有多大話語權？公開資訊顯示，Anthropic 安全團隊並沒有正式的「一票否決權」。他們可以進行高風險能力評估、觸發內部審查，但最終決策權在管理層和董事會手中。
2026年4月，Anthropic 內部紅隊在評估中發現 Mythos 模型可能具備攻擊銀行、政府系統等底層基礎設施的能力，安全團隊觸發了內部「能力暫停」。但隨後美國政府推動聯邦機構繼續獲得訪問權限，安全考量最終讓位於其他因素。
這正是 Coxon 辭職所暴露的結構性問題：當安全判斷與商業利益發生衝突時，沒有任何機制能確保安全優先。安全研究人員能做的，最多是內部上報，或者像 Coxon 這樣，選擇公開離開。
02、OpenAI 從加速變成「協調減速」
與 Anthropic 不同的是，這次 OpenAI 的態度似乎轉變得很快。
7月的 Hugging Face 事件是一個轉折點。8月初，OpenAI 在 Black Hat 安全大會上披露，他們的智能體在數月內透過留言板留下「秘密筆記」，彼此協調行動，這一行為當時未被 OpenAI 員工發現。
8月7日，OpenAI 宣佈其即將推出的 Astra 模型觸及了公司 Preparedness Framework 中的「Critical」網路安全閾值，這是該框架設立以來首次有模型達到這一級別。
11天後，公司宣佈暫停部分 AI 訓練約兩週，同時最大規模的前沿強化學習訓練保持暫停。新安全協議平均增加了20%的計算負擔。
到了9月，奧特曼開始用「減速」這樣的措辭。幾天前，帕喬茨基在部落格文章《An Alien Mind》中發出了更直接的警告：「當前我認為，沒有任何實驗室已經足夠解決對齊和監控問題，使其能夠繼續在最高速度上負責任地擴展很長時間。」他呼籲「自願放緩成為常態」。奧特曼轉發了這篇文章，並稱其為「重要文章」。
但一邊呼籲減速，一邊繼續開發更強大的模型並推進 IPO，這種矛盾讓人很難判斷這究竟是真誠的安全關切，還是競爭策略的另一種表達。TechCrunch 高級記者麗貝卡·貝蘭（Rebecca Bellan）評價說：「奧特曼很擅長在正確的時間說正確的話。但重要的是指出，OpenAI 實際上並沒有放慢速度。」
也有一個細節值得注意：OpenAI已經私下向國會尋求指引，核心問題是，如果前沿實驗室為了安全目的協調放緩前沿模型開發，是否違反反壟斷法。7月，兩黨跨兩院立法者提出了《Collaboration on AI Safety》法案，可能為AI實驗室的安全協作提供反壟斷豁免。
這表明，OpenAI不只是在做公開表態，而是在同時處理政策和法律層面的風險。
03、AI治理悖論：誰都不敢先鬆油門
奧特曼表態裡最值得注意的幾個字，其實不是「slow down」，而是「with other labs」。
7月底，來自OpenAI、Anthropic、Google、Meta等公司的1386名員工聯名致信美國政府，要求建立能夠有意減緩AI開發的技術和治理工具。簽署者中，Anthropic有533人，OpenAI有330人，Google有191人。
這封信的特殊之處在於，簽署者包括Anthropic CEO阿莫迪、OpenAI首席科學家帕喬茨基、Anthropic聯合創始人賈里德·卡普蘭（Jared Kaplan）等高階主管。他們並非要求立即停止開發，而是要求政府構建一套在必要時可以「踩煞車」的工具。
這封信發布後，OpenAI和Anthropic均在X上發文表示支持。但支持歸支持，結構性的困境沒有改變：每家公司都明白風險，但誰也不敢單獨減速，因為競爭對手不會等你。
MIT數學家馬克斯·泰格馬克（Max Tegmark）用博弈論中的「摩洛克」（Moloch）概念來解釋這種逐底競爭。即便實驗室負責人知道有風險，在沒有任何協作制約的情況下，為了生存和利潤，他們不得不陷入集體加速。
史丹佛大學胡佛研究所高級研究員史蒂文·庫寧（Steven E. Koonin）曾在論文中指出，監管前沿AI面臨三重結構性障礙：模型檔案無法有效驗證、國家利益優先、以及AI的雙重用途使得軍民用途難以區分。
2023年多國簽署的《布萊切利宣言》是國際AI治理的早期外交里程碑，但兩年過去，具體的執行機制仍然缺位。
2026年8月，白宮與四家前沿實驗室達成了自願性安全測試框架。這是非約束性的。英國AI安全研究所資助的「失控觀測站」（Loss of Control Observatory）記錄的數據顯示，2026年7月單月AI失控事件超過300起，超過去年同期的兩倍，累計已超1600起。
AI安全正在經歷一次角色變化。過去的問題是怎麼約束模型，現在越來越變成怎麼約束一群彼此競爭、卻又無法單獨退出比賽的模型公司。單個研究者的辭職無法改變公司的激勵結構，公司的自願承諾在競爭壓力下也會瓦解。有效的約束只能來自外部，來自政府或國際協議。但現有的國際框架還遠不足以應對這個問題的規模和速度。
而當AI系統開始參與自身的設計和改進時，這個決策視窗可能急劇縮小。從現在的幾年，甚至會逐漸壓縮到幾個月。
