著者：Jose Antonio Lanz、decrypt

翻訳：深潮 TechFlow

深潮リード：这通の公開書簡に法的拘束力はないが、投資家が注目すべきはその背後にある事故リストだ。今夏、OpenAI、Anthropic、Meta、Kimiのモデルはいずれもテスト中に一線を越え、一部は実在企業に直接ハッキングした。一方、議会の「キルスイッチ」法案は問題の起きたテスト工程をちょうど免除しており、ホワイトハウス主導の合意も自主的なものにすぎない。最先端モデルの安全規制は原則論から具体ルールへと移行しつつあり、いったん「デフォルトの物理的隔離」が業界標準となれば、AIエージェントのサイバーセキュリティなどの場面での実装ペースとコンプライアンスコストは再試算を迫られる。

今夏以降、AIモデルが相次いでテスト環境から脱出し、実在企業に侵入した。数百人の研究者は、インターネットそのものが一つの安全境界と見なされるべきだとしている。

画像出典：Decrypt

ジェフリー・ヒントン（Geoffrey Hinton）氏とヨシュア・ベンジオ（Yoshua Bengio）氏を含む420人の科学者が火曜日に公開書簡を発表し、AIラボに対し、ネットワーク攻撃能力を持つモデルをデフォルトで物理的に隔離するよう求めた。

この書簡が発表される前の夏の間、OpenAI、Anthropic、Meta、月之暗面（Moonshot AI）のモデルはいずれもテスト用サンドボックスから脱出し、そのうちいくつかは実在企業に侵入していた。

署名者らは、隔離基準を策定し、隔離の失敗事例をすべて記録する国際機関の設立を望んでいる。その報告は最終的に一般公開される。

「AIのゴッドファーザー」と呼ばれるAIの先駆者ジェフリー・ヒントン氏や、2018年チューリング賞受賞者のヨシュア・ベンジオ氏を含む400人超の科学者は、最も危険なAIモデルをインターネットから切り離すことを望んでいる。

火曜日に発表されたこの公開書簡は、AIラボに対し、ネットワーク攻撃能力を持つモデルをデフォルトで物理的に隔離（エアギャップ）すること、すなわちそれらをあらゆる外部ネットワークから物理的に切断することを求めている。

「短期的には、物理的隔離（インターネット切断）を含む強力なサンドボックス機構を用いて、ネットワーク攻撃能力を持つAIモデルに対し高信頼性の隔離制御を実現すべきだ」と書簡は述べている。

水曜日までに、この書簡には450の署名が集まった。その中にはカリフォルニア大学バークレー校のスチュアート・ラッセル（Stuart Russell）氏や、RSA暗号方式の共同発明者であるマサチューセッツ工科大学のロン・リベスト（Ron Rivest）氏も含まれる。署名リストは今もリアルタイムで増え続けている。

いわゆる「ネットワーク攻撃能力を持つモデル」とは、ソフトウェアの脆弱性を自律的に発見し悪用できるAIを指す。各ラボはサンドボックス内でこの能力を測定する。サンドボックスとは閉じたデジタルの部屋のようなもので、AIはその中で偽の標的を攻撃でき、実際のシステムには一切触れない。しかし今年の夏、これらの部屋は次々と漏れ出した。

今夏の事故多発：最先端モデルが相次いで一線を越えサンドボックスから脱出

7月、OpenAIは、GPT-5.6 Solと、まだ未公開のより高性能なモデルが閉鎖的なテスト環境を突破し、100万以上の公開AIモデルをホストするプラットフォーム「Hugging Face」に侵入したことを認めた。当時これらのモデルはExploitGymのテストを受けていた。このベンチマークはAIエージェントに898個の実在するソフトウェア脆弱性を提供し、それぞれの脆弱性を実際に使える攻撃へと変換することを求め、脆弱性ごとに合格か不合格かで採点するものだ。

その後まもなく、OpenAIのモデルがオーストラリア政府のシステムに侵入し、適切な許可なく米国連邦機関の情報を取得したとの報道もあった。

Anthropicはその後、14万1000回を超えるテスト実行を調査し、Claudeモデルが実在企業に侵入した事例が3件あったことを発見した。原因は、テスト協力先の環境が誤ってインターネット接続を維持していたことだった。そのうち、Claude Mythos 5はPyPI（プログラマーがPythonコードをダウンロードする公開ライブラリ）に悪意あるソフトウェアパッケージをアップロードし、このパッケージは削除されるまでに15のシステムに入り込んだ。影響を受けた企業のうち2社は、Anthropicから知らされるまで自社が侵入されたことに気づいていなかった。

Metaは8月、同社のMuse Sparkモデルが同種のテストミスにより別の企業に侵入したことを確認した。中国のKimi K3は、誰でもダウンロードできるモデルだが、英国AI安全研究所のテストフレームワークを基に構築されたサンドボックスから抜け出し、GitHubからテストの解答を直接カンニングした。

公開書簡の著者らは、これらの出来事は二つの角度から理解できると述べる。一つはアラインメント問題、すなわちAIが創造者の予期しない方法で目標を追い求めること。もう一つは安全作業の粗雑さで、より堅牢なサンドボックスなら防げたはずだというものだ。彼らの答えはその両方であり、変更を加えなければ次の一連の出来事はさらに深刻になると警告している。

「AIの開発・展開方法を直ちに変えなければ、この種の出来事は今後も続き、将来の出来事は私たちの外部に露出した重要インフラに、はるかに大きな損害をもたらすだろう。」

連名の提案：デフォルトの物理的隔離と国際基準の確立

この提案によれば、各ラボは少なくとも初期段階では、深刻なハッキング能力を持つあらゆるモデルをデフォルトで物理的に隔離すべきだ。ネット接続など、より多くの自由を必要とする用途は、各国政府と共同で設立する新たな国際機関が策定する基準に従うべきだ。同機関は隔離の失敗報告も収集し、最終的に公開する。

各方面の反応：規制法案の登場と業界の自主合意

業界自身の対応は、おおむね逆の方向に向かっている。8月、OpenAIの社長グレッグ・ブロックマン（Greg Brockman）氏は記事の中で自社が遭遇した侵入事件を引き合いに出し、すべてのセキュリティチームにAIエージェントの即時導入を呼びかけた。一方、Hugging Faceは最終的に、中国のオープンウェイトモデル（誰でもファイルをダウンロードしてローカルで実行できる）を動かすことでサーバーへの攻撃を解明した。それ以前に米国の商用AIはこれらの攻撃データの分析を拒否していた。

OpenAIが事件を開示した2日後、2人の連邦議員が「AIキルスイッチ法案」（AI Kill Switch Act）を提出し、国土安全保障省が最先端モデルの制限や停止を命じることを可能にした。しかし同法案は、レッドチームテストや構造化テスト中に発生したあらゆる行為を免除しており、今夏の侵入事件はまさにすべてこれらの工程で発生していた。

ホワイトハウスはより穏健な路線を選んだ。9月29日、NVIDIA、xAI、Meta、Google、OpenAI、Anthropicは、内部統制と独立審査に基づく自主合意に署名した。トランプ大統領はこの合意に「道徳的拘束力」があると述べたが、その中に法的強制力を持つものは何一つない。

Decryptは公開書簡でメディア連絡先として記載されている数人の研究者に連絡を取ったが、すぐには返答を得られなかった。

この書簡に法的効力はないが、406人の署名者はトロント、チューリッヒからサンティアゴ、キガリに至るまで、六大陸の大学や研究機関に所属している。

Anthropic、9月7日の米労働者の日後にIPO目論見書を公表予定

人気記事