6月13日、米国政府はアントロピック社の最も先進的な2つのモデルの開発を中止させた。
一つは Fable 5、もう一つは Mythos 5 です。前者はつい最近一般公開されたばかりですが、後者はより制限されたサイバーセキュリティ顧客を対象としています。この禁止措置は米国商務省によるもので、米国外の顧客だけでなく、米国内にいる外国人にも適用されます。Anthropic の最終的な選択は単純でした。すべてをオフラインにするということです。
この事件の詳細をすべて検討した結果、この24時間の出来事を大まかに時系列でまとめました。
6月11日木曜日、Fable 5の一般公開から2日後、AmazonのCEOであるアンディ・ガルセッティ氏はホワイトハウスに対し懸念を表明した。彼はFable 5のセキュリティ対策が回避される可能性があると危惧していた。Amazonの研究者らは、一連のプロンプトを用いてFable 5から本来制限されるべき情報を引き出し、サイバー攻撃に悪用される可能性のある情報を漏洩させた疑いが持たれている。
6月12日金曜日の朝までに、この問題はホワイトハウスの最高レベルの会議にまで持ち上がった。スコット・ベセント財務長官、ショーン・ケアンクロス大統領サイバーセキュリティ担当局長、スージー・ワイルズ大統領首席補佐官、その他高官が議論に参加した。ベセント長官は当時ヒューストンに向かう途中だったため、リモートで会議に参加した。
その後、3件の電話がかかってきた。
アントロピック社のCEO、ダリオ・アモデイ氏が電話会議に参加すると、電話の向こう側には6人ほどの幹部職員が同席していた。ベセント氏とケアンクロス氏のほか、ハワード・ルトニック商務長官も出席していた。その他、ジェフリー・ケスラー商務次官（産業安全保障担当）、ウィル・シャーフ大統領首席補佐官、リチャード・ウォルターズ副首席補佐官、ウォーカー・バレット大統領政策補佐官も参加していた。
アモデイ氏は、この状況を誤解だと説明しようと試みた。アマゾンが発見したのは特定の回避方法であり、セキュリティ障壁を広範囲に除去できるような一般的なヒントに基づく脱獄方法ではないと主張した。その後、アントロピック社は、テスターがまだモデルのセキュリティシステムを広範囲に回避する方法を見つけていないと公に発表した。
しかし、ホワイトハウスは納得しなかった。
アマゾンCEOのアモデイ氏の調査結果は国家安全保障局（NSA）に送られ評価され、ホワイトハウスは十分な証拠が得られたと判断した。政府はアントロピック社に対し、自主的にモデルをオフラインにし、脆弱性の修正に向けて政府と協力するよう要請した。アモデイ氏はより多くの時間と情報を求めたものの、モデルの削除には応じなかった。ベセント氏は電話で「間違った判断をした」と直接述べた。
その後、輸出規制が実施された。
アントロピック社側は異なる見解を示している。ホワイトハウスはモデルをオフラインにするための猶予をわずか90分しか与えず、実際の脅威の詳細も伝えなかったという。一方、ホワイトハウスは、アントロピック社に協力を求めた数時間にわたる試みが失敗に終わった後、輸出規制は最後の手段として講じられたものだと主張している。
もう一つの重要な点は、この件におけるアマゾンの立場が非常にデリケートだということだ。
2024年後半、AmazonはAnthropicにさらに40億ドルを投資し、総投資額は80億ドルとなった。Anthropicはまた、AWSを主要なトレーニングパートナーに指定し、今後のモデルのトレーニングと展開にはAWSのチップが使用される予定である。Claudeは、Amazon Bedrock上で最も重要なモデルの1つとして常に君臨している。
マイクロソフトとOpenAIの提携は既に周知の事実であり、アマゾンがAnthropicに投資したのは、もともとその提携を回避するための手段だった。
マイクロソフトはOpenAIを擁している。グーグルはGeminiを擁し、Anthropicにも投資している。アマゾンは自社開発の最先端モデルを十分に強力に構築できていないため、AWSのコンピューティング能力、Trainiumチップ、Bedrockプラットフォームを外部のモデル企業に結びつけるしかない。
しかし、それから1年半後、アマゾンとOpenAIも連携した。
今年、アマゾンはOpenAIへの最大500億ドルの投資について交渉したと報じられている。当時、OpenAIは最大1000億ドルの新規資金調達を目指しており、この取引にはOpenAIがアマゾンからAIチップを購入することも含まれる可能性がある。Axiosはまた、OpenAIの年間収益は2025年までに200億ドルを超える見込みだが、支出額は1兆4000億ドルと推定されていると指摘している。
Amazonは、AWSのコンピューティング能力を活用し、自社開発チップの性能を検証し、データセンターをフル稼働させるために、最先端のモデル企業を必要としている。また、自社の最先端モデルをエンタープライズクラウドに導入する必要もある。これはもはや単なる金融投資ではない。
そのため、同社はAnthropicに投資すると同時にOpenAIとも密接な関係にある。モデル企業にとって資金提供者であると同時に供給者でもある。モデル企業の販売を支援するだけでなく、これらのモデルがいかに危険であるかを政府に説明する必要もある。
結局、アマゾンはアントロピック社に対抗する立場を取った。アントロピック社の視点からすれば、資金提供、クラウドサービス、チップ、流通チャネルを提供するパートナー企業が、政府に対して禁止措置を引き起こすのに十分なセキュリティシグナルを発信したことになる。もちろん、アマゾン側の言い分は「ホワイトハウスから質問されたので、それに答えただけだ」というものだ。
過去2年間、AI企業は自社を国家資産として売り込むことを重視してきた。能力が高ければ高いほど、企業価値は高まり、資金調達は円滑に進み、政府調達の見込みも高まる。Anthropicは特にこの戦略に長けている。OpenAIとの差別化を図るため、より慎重なセキュリティ用語を用い、規制当局に対して自社を真剣に受け止めるべきだと示すために、「最先端のリスク」というレトリックも活用している。
現在、米国政府はこのモデルを国家安全保障上の重要な資産として真剣に扱っている。
ホワイトハウス関係者の混乱もここから生じている。ポリティコ紙によると、ホワイトハウス側はアモデイ氏がアントロピック技術の危険性を核爆弾に例えるのを聞いたという。彼が既知のセキュリティ上の脆弱性を理由にモデルのオフライン化を拒否した際、政府関係者はそれを技術的な意見の相違ではなく、むしろ姿勢の問題と捉えた。
両者が衝突したのは今回が初めてではない。3月3日、米国防総省は、アントロピック社が自社のAIツールを大規模な国内監視や自律型兵器に使用することを拒否したため、同社をサプライチェーン上のリスク企業として指定した。
アントロピック社と米国政府の間には、過去に紛争の歴史がある。
今回、アントロピック社は、政府の指令が具体的な国家安全保障上の懸念に対処できていないと述べ、透明性、明確性、そして技術的事実に基づいた法的根拠を欠いているとして、この措置を批判した。アントロピック社は、この問題は限定的な回避策に過ぎず、このような広範な禁止措置を正当化するには不十分だと考えている。
しかし、政府の視点から見ると、モデルのセキュリティはもはや企業がホワイトペーパーを作成したり、レッドチームテストを実施したり、システムカードを自社で公開したりするような内部プロセスではなくなった。モデルにアクセスできる者、モデルをトレーニングできる者、外国人従業員がモデルの重みを閲覧できるかどうかなど、すべてが輸出入規制の対象となる。
Anthropic社が4月にMythosを限られた数のテクノロジー企業とサイバーセキュリティ企業のみに提供すると発表した時点で、同社はすでにホワイトハウスと複数回の会合を開いていた。Fable 5もリリース前に米国政府と英国AIセキュリティ研究所による審査を受けていた。Anthropic社は、モデルリリース前に政府から異議は出なかったと主張している。
これにより、紛争はさらに悪化する。
モデルが発表される前は、安全保障協力がテーマだった。モデルが発表された後は、国家安全保障がテーマになった。
OpenAIは、この事件の展開を傍観していた。
Anthropicが最も強力なモデルの提供を中止せざるを得なくなったことで、OpenAIの相対的な立場はより有利になった。Anthropicが規制問題に巻き込まれるほど、OpenAIが「協力」の選択肢として選ばれやすくなる。AmazonがOpenAIとの関係をさらに強化すれば、リスクヘッジの層も増えることになるだろう。
もちろん、AmazonがOpenAIによるAnthropicへの攻撃を支援しているという公に入手可能な証拠は一切ない。
より深刻な現実として、現在1兆ドル規模の設備投資サイクルに突入している現行モデルにおけるパートナーシップは、そもそも健全とは言えなくなっている。クラウドベンダーはモデル企業に投資し、モデル企業はクラウドコンピューティング能力を購入し、政府はクラウドベンダーにセキュリティリスクについて問い合わせ、競合他社は同じ規制の場で互いにレッドチームを結成して対抗している。
同じ企業グループが、資金提供者、供給者、販売業者、そして批評家といった役割を担うようになった。
これは、脱獄に関するどんなヒントよりも重要です。
『Fable 5』と『Mythos 5』がサービス終了した夜、Anthropicは2つのモデルへのアクセスを失っただけでなく、自社の物語に対するコントロールもいくらか失ってしまった。
Amazonは依然としてAWSコンソールを支配している。OpenAIの資金調達ラウンドは依然として好調だ。米国政府はすでにモデル発表イベントの最前列に陣取っている。
