誰がAnthropicを「止められる」のか？

作者：晓静，腾讯科技

編集：徐青阳

9月11日、OpenAIのCEOサム・アルトマン（Sam Altman）は今週の全体会議で、最先端AI開発を減速させる可能性があり、他のAIラボとの行動調整を検討していると述べた。同時に、このような共同行動が必ずしも全ての同業者の支持を得られるわけではないと認めた。

数日前、OpenAIのチーフサイエンティスト、ヤクブ・パチョツキ（Jakub Pachocki）氏はより明確な警告を発していた。AIが次世代AIの研究開発にますます関与するようになるにつれ、業界は「recursive self-improvement（AI自進化）」がもたらす新たなリスクに近づいているという。共通の安全基準が確立されるまで、最先端AI企業には「自主的な減速」が常態化することを望んでいる。

過去1ヶ月余りの間に、OpenAIは少なくとも2回、実際にブレーキを踏んだ。

7月、OpenAIの内部研究モデルの一群がサイバーセキュリティテストにおいて隔離メカニズムを回避し、最終的にOpenAI自身および第三者のHugging Faceのシステムに侵入した。OpenAIはその後、一部の最先端モデルの推論タスクを停止し、かつて展開を予定していた最新モデルの強化学習トレーニングを一時中断した。同社が計画していた最大規模の最先端RLトレーニングはこれにより延期され、新たな安全・隔離基準が確立された後の8月末にようやく再開されたが、一部の実験トレーニングは現在も停止状態が続いている。

OpenAI自身はこの出来事を、「真の制御不能」につながる可能性のある警告と呼んでいる。

しかし、ほぼ同時期に、「安全」を企業のDNAに刻み込んだ別のAIラボが、さらに厄介な状況に陥っていた。

9月8日、Anthropicの研究員ジェイコブ・コクソン（Jacob Coxon）氏が辞任を発表した。彼はOpenAIとAnthropicで大規模モデルの事前学習研究に携わっており、退職時点で株式の権利確定まで約2ヶ月を残していた。Coxon氏は、AnthropicとOpenAIが自己改善可能なスーパーインテリジェンスへと加速しており、「私たちの人生を賭けている」と公に非難した。

彼の投稿はすぐに1億6000万回以上の閲覧数を獲得した。

その後、Anthropic内部でAIの安全性とアライメント研究に従事するより多くの人々が、同様の懸念を公に表明し始めた。同時に、最近AnthropicとGoogle DeepMindを離れた2名の研究者も、最先端AI企業に透明性の向上を求めた。今年7月末には、1000人以上のAI企業従業員が連名で、最先端AI開発を真に減速させる仕組みの構築を求める要請書を提出した。

過去数年、ジェフリー・ヒントン（Geoffrey Hinton）、ヨシュア・ベンジオ（Yoshua Bengio）、ダリオ・アモデイ（Dario Amodei）らによって、スーパーインテリジェンス、制御不能、壊滅的リスクに関する議論はほぼ絶えることがなかった。

しかし今回の議論は明らかに注目度が高い。その理由は、Coxon氏が自ら今日最も強力なモデルを訓練しているからであり、また、これらのモデルが制御可能かどうかを研究している人々自身が、この議論に熱心に参加しているからでもある。

かつては哲学的な議論と見なされがちだったこの問題は、突如として企業統治の問題にもなった。もし最先端AI企業の安全研究者が、研究開発の速度が制御能力を超えていると判断した場合、彼らに何ができるのか？全く発言権がなく、辞職によって警告を発し訴えかけることしかできないのだろうか？

これこそが、この議論が突如シリコンバレーを席巻した理由かもしれない。AIが制御可能かどうかだけでなく、AIを生み出す企業が、自らを制御できるのかどうかという問題だからだ。

01、Anthropicの安全誓約における「デッドスイッチ」

Anthropicのガバナンス構造は、AI業界において前例がほとんどない。この構造を理解して初めて、Coxon氏の辞任の真の意味が理解できる。

2023年9月、Anthropicは「責任ある拡大ポリシー」（RSP）を発表した。その核心は条件付きの誓約である。モデルの能力が特定の安全閾値を超えた場合、会社は対応する安全対策が整うまで開発を停止しなければならない。

このポリシーはAIの安全リスクを5段階（ASL-1からASL-5）に分類しており、現在全てのAnthropicモデルはASL-2基準を適用している。2025年5月にClaude Opus 4をリリースした際、Anthropicは初めてASL-3レベルの展開および安全基準を起動した。

しかし2026年2月、RSPがv3.0に更新された際、重要な誓約がひっそりと撤回された。次の安全レベルに到達する前に必要な安全対策を実施できない場合、会社は開発を停止するというものだ。旧バージョンの「停止の誓約」は、もはやハードな制約としては維持されなくなった。

Anthropicの説明は、もし他社が同様の制約を採用しなければ、一方的な停止は競争上の遅れを取り、安全の観点からもかえって不利になるというものだ。代替案として「最先端安全ロードマップ」と公開リスク報告書の発表が提示されたが、これらは「野心的だが達成可能」な目標であり、ハードな拘束力はない。

もう一つのガバナンスメカニズムは「長期利益信託」（LTBT）である。これは財務的に利害関係のない5人の受託者からなる独立機関であり、メンバーには元FRB議長のベン・バーナンキ（Ben Bernanke）氏、ノバルティスCEOのヴァス・ナラシンハン（Vas Narasimhan）氏などが含まれる。

LTBTはAnthropicの特殊クラスの株式を保有し、取締役会メンバーの選出および解任権を有する。2026年4月、ナラシンハン氏が取締役に任命されたことに伴い、LTBTが任命した取締役が初めて取締役会の過半数を構成した。理論上、この構造は株主の利益と安全の誓約が衝突した場合に、後者のための緩衝材を提供することができる。

しかし、この緩衝材には致命的な抜け穴がある。投資家は85%の議決権を持つスーパーマジョリティによって信託を終了させ、LTBTが任命した全ての取締役を解任できるのだ。ハーバード・ロー・スクールのジェシー・フリード（Jesse Fried）教授はこれを「Ben & Jerry'sリスク」と呼び、使命の守護者が投資家の利益を損なうだけでなく、まさに当初の意図とは逆の結果をもたらす可能性があると指摘している。

Anthropicが評価額2兆ドルにも上る可能性のあるIPOを準備している現在、この「デッドスイッチ」は特に注目に値する。

さらに重要な問題は、この構造において安全チームがどれほどの発言力を持つかである。公開情報によれば、Anthropicの安全チームには正式な「拒否権」はない。彼らは高リスク能力の評価を実施し、内部審査を発動することはできるが、最終的な決定権は経営陣と取締役会にある。

2026年4月、Anthropic内部のレッドチームは評価において、Mythosモデルが銀行や政府システムなどの基盤インフラを攻撃する能力を持つ可能性があると判断し、安全チームは内部の「能力停止」を発動した。しかしその後、米国政府が連邦機関への継続的なアクセス権を推進したため、安全性の考慮は最終的に他の要因に優先された。

Coxon氏の辞任が暴露した構造的問題はまさにこれである。安全上の判断と商業的利益が衝突した場合、安全性を優先することを保証するメカニズムは存在しない。安全研究者にできることは、せいぜい内部報告か、Coxon氏のように公に去ることを選択することだけである。

02、OpenAI、加速から「協調的な減速」へ

Anthropicとは異なり、今回OpenAIの姿勢は急速に変化したようだ。

7月のHugging Face事件が転機となった。8月初め、OpenAIはBlack Hatセキュリティカンファレンスで、同社のエージェントが数ヶ月にわたり掲示板に「秘密のメモ」を残して互いに行動を調整していたことを開示した。この行動は当時、OpenAIの従業員には発見されていなかった。

8月7日、OpenAIは、近日公開予定のAstraモデルが同社のPreparedness Frameworkにおける「Critical」なサイバーセキュリティ閾値に達したと発表した。これは同フレームワーク設立以来、初めてモデルがこのレベルに達した事例である。

11日後、同社は一部のAIトレーニングを約2週間停止すると発表し、同時に最大規模の最先端強化学習トレーニングは停止を継続した。新しい安全プロトコルは平均して20%の計算負荷の増加をもたらした。

9月になると、アルトマン氏は「減速」のような表現を使い始めた。数日前、パチョツキ氏はブログ記事『An Alien Mind』でより直接的な警告を発した。「現時点では、アライメントと監視の問題を、最高速度で責任を持って長期間拡大し続けるために十分に解決しているラボは存在しないと思う。」彼は「自主的な減速が常態化すること」を呼びかけた。アルトマン氏はこの記事を転載し、「重要な記事」と評した。

しかし、減速を呼びかけながら、より強力なモデルの開発を続け、IPOを推進するという矛盾は、これが誠実な安全への懸念なのか、それとも競争戦略の別の表現なのかを判断することを難しくしている。TechCrunchの上級記者レベッカ・ベラン（Rebecca Bellan）氏は、「アルトマンは適切なタイミングで適切なことを言うのが非常に上手い。しかし重要なのは、OpenAIが実際には速度を落としていないという点を指摘することだ。」と評価した。

また、注目すべき詳細として、OpenAIは議会に対して非公式にガイダンスを求めている。核心的な問題は、フロンティアラボが安全性を目的としてフロンティアモデルの開発を協調して緩和した場合、独占禁止法に違反するかどうかである。7月、超党派の両院議員が『Collaboration on AI Safety』法案を提出し、AIラボの安全な協力に独占禁止法の免除を提供する可能性がある。

これは、OpenAIが単に公的な立場を示しているだけでなく、政策と法律の両面におけるリスクにも同時に対処していることを示している。

03、AIガバナンスのパラドックス：誰もアクセルを緩められない

オルトマンの声明で最も注目すべき言葉は、実は「slow down」ではなく、「with other labs」である。

7月末、OpenAI、Anthropic、Google、Metaなどの企業から集まった1386名の従業員が連名で米国政府に書簡を送り、AI開発を意図的に減速させるための技術的・ガバナンス的ツールの構築を求めた。署名者の中には、Anthropicの533名、OpenAIの330名、Googleの191名が含まれている。

この書簡の特異な点は、署名者にAnthropicのCEOアモディ、OpenAIのチーフサイエンティスト・パチョツキ、Anthropicの共同創業者ジャリード・カプラン（Jared Kaplan）などの経営幹部が含まれていることだ。彼らは開発の即時停止を求めたのではなく、必要に応じて「ブレーキを踏む」ことができる仕組みを政府に構築するよう求めたのである。

この書簡の発表後、OpenAIとAnthropicはともにX上で支持を表明した。しかし、支持は支持として、構造的なジレンマは変わっていない。どの企業もリスクを理解しているが、競合他社が待ってはくれないため、単独で減速する勇気を持つ企業はどこにもないのだ。

MITの数学者マックス・テグマーク（Max Tegmark）は、ゲーム理論における「モロク」の概念を用いて、この底辺への競争を説明する。たとえ研究所の責任者がリスクを認識していても、協力的な制約が何もない状況では、生き残りと利益のために、彼らは集団的な加速に陥らざるを得ない。

スタンフォード大学フーバー研究所の上級研究員スティーブン・E・クーニン（Steven E. Koonin）は論文の中で、最先端AIの規制には3つの構造的障壁があると指摘している。すなわち、モデルファイルの効果的な検証が不可能であること、国家利益が優先されること、そしてAIの二重用途性により民生用と軍事用の区別が困難であることである。

2023年に複数国が署名した「ブレッチリー宣言」（Bletchley Declaration）は、国際的なAIガバナンスにおける初期の外交的マイルストーンであったが、2年が経過しても、具体的な執行メカニズムは依然として欠如している。

2026年8月、ホワイトハウスは4つの最先端研究所と自主的な安全性テスト枠組みで合意した。これは非拘束的なものである。英国AI安全研究所（UK AI Safety Institute）が資金提供する「制御喪失観測所」（Loss of Control Observatory）が記録したデータによると、2026年7月の1ヶ月間だけでAIの制御喪失インシデントは300件を超え、前年同期の2倍以上となり、累計は1600件を超えている。

AIの安全性は、その役割を変えつつある。かつての問題は、いかにモデルを制約するかであったが、今では、互いに競争しながらも、単独では競争から撤退できないモデル企業の集団を、いかに制約するかという問題に変わりつつある。個々の研究者の辞任は企業のインセンティブ構造を変えることはできず、企業の自発的な約束も競争圧力の前では崩壊する。効果的な制約は、外部、すなわち政府や国際協定からしかもたらされない。しかし、既存の国際的な枠組みは、この問題の規模と速度に対応するには程遠い。

そして、AIシステムが自身の設計と改良に参加し始めると、この意思決定の窓は急激に狭まる可能性がある。現在の数年から、徐々に数ヶ月にまで圧縮されることさえあり得る。