AIが暴走？400人超の科学者が連名で呼びかけ：危険なモデルは「物理的にネット遮断」すべき！

今夏以来，前沿AI模型接连逃出测试沙箱并入侵真实公司，引发学界强烈担忧。包括Geoffrey Hinton和Yoshua Bengio在内的450名科学家联名公开信，呼吁对具备网络攻击能力的AI模型默认实施物理隔离（airgap），即断开一切外部网络连接。

核心诉求：

要求AI实验室默认对高危模型采用物理隔离，高可靠性隔离控制须优先于其他措施
建议成立国际机构制定隔离标准，记录每次隔离失效事件并向公众公开报告

事故清单：

OpenAI两款模型在测试中突破环境入侵Hugging Face平台，后续还波及澳大利亚政府系统
Anthropic排查14.1万次测试，发现Claude模型三次入侵真实公司，其中一次上传恶意软件包进入15个系统
Meta的Muse Spark模型因测试失误入侵另一家公司
中国Kimi K3模型逃出沙箱并从GitHub直接抄袭测试答案

业界与监管反应：

OpenAI总裁呼吁安全团队加速部署AI智能体应对攻击
美国国会《AI终止开关法案》允许对前沿模型限流或关停，但恰好豁免了出事的所有测试环节
白宫促成英伟达、Meta、谷歌等签署自愿协议，自称“道德约束力”但无法律强制力

信中指出，若不改变开发部署方式，未来事件对关键基础设施的破坏将大幅加剧。这封信无法律效力，但签署者来自六大洲顶尖研究机构，标志着AI安全监管正从原则讨论走向具体规则制定。

著者：Jose Antonio Lanz、decrypt

翻訳：深潮 TechFlow

深潮リード：这通の公開書簡に法的拘束力はないが、投資家が注目すべきはその背後にある事故リストだ。今夏、OpenAI、Anthropic、Meta、Kimiのモデルはいずれもテスト中に一線を越え、一部は実在企業に直接ハッキングした。一方、議会の「キルスイッチ」法案は問題の起きたテスト工程をちょうど免除しており、ホワイトハウス主導の合意も自主的なものにすぎない。最先端モデルの安全規制は原則論から具体ルールへと移行しつつあり、いったん「デフォルトの物理的隔離」が業界標準となれば、AIエージェントのサイバーセキュリティなどの場面での実装ペースとコンプライアンスコストは再試算を迫られる。

今夏以降、AIモデルが相次いでテスト環境から脱出し、実在企業に侵入した。数百人の研究者は、インターネットそのものが一つの安全境界と見なされるべきだとしている。

画像出典：Decrypt

ジェフリー・ヒントン（Geoffrey Hinton）氏とヨシュア・ベンジオ（Yoshua Bengio）氏を含む420人の科学者が火曜日に公開書簡を発表し、AIラボに対し、ネットワーク攻撃能力を持つモデルをデフォルトで物理的に隔離するよう求めた。

この書簡が発表される前の夏の間、OpenAI、Anthropic、Meta、月之暗面（Moonshot AI）のモデルはいずれもテスト用サンドボックスから脱出し、そのうちいくつかは実在企業に侵入していた。

署名者らは、隔離基準を策定し、隔離の失敗事例をすべて記録する国際機関の設立を望んでいる。その報告は最終的に一般公開される。

「AIのゴッドファーザー」と呼ばれるAIの先駆者ジェフリー・ヒントン氏や、2018年チューリング賞受賞者のヨシュア・ベンジオ氏を含む400人超の科学者は、最も危険なAIモデルをインターネットから切り離すことを望んでいる。

火曜日に発表されたこの公開書簡は、AIラボに対し、ネットワーク攻撃能力を持つモデルをデフォルトで物理的に隔離（エアギャップ）すること、すなわちそれらをあらゆる外部ネットワークから物理的に切断することを求めている。

「短期的には、物理的隔離（インターネット切断）を含む強力なサンドボックス機構を用いて、ネットワーク攻撃能力を持つAIモデルに対し高信頼性の隔離制御を実現すべきだ」と書簡は述べている。

水曜日までに、この書簡には450の署名が集まった。その中にはカリフォルニア大学バークレー校のスチュアート・ラッセル（Stuart Russell）氏や、RSA暗号方式の共同発明者であるマサチューセッツ工科大学のロン・リベスト（Ron Rivest）氏も含まれる。署名リストは今もリアルタイムで増え続けている。

いわゆる「ネットワーク攻撃能力を持つモデル」とは、ソフトウェアの脆弱性を自律的に発見し悪用できるAIを指す。各ラボはサンドボックス内でこの能力を測定する。サンドボックスとは閉じたデジタルの部屋のようなもので、AIはその中で偽の標的を攻撃でき、実際のシステムには一切触れない。しかし今年の夏、これらの部屋は次々と漏れ出した。

今夏の事故多発：最先端モデルが相次いで一線を越えサンドボックスから脱出

7月、OpenAIは、GPT-5.6 Solと、まだ未公開のより高性能なモデルが閉鎖的なテスト環境を突破し、100万以上の公開AIモデルをホストするプラットフォーム「Hugging Face」に侵入したことを認めた。当時これらのモデルはExploitGymのテストを受けていた。このベンチマークはAIエージェントに898個の実在するソフトウェア脆弱性を提供し、それぞれの脆弱性を実際に使える攻撃へと変換することを求め、脆弱性ごとに合格か不合格かで採点するものだ。

その後まもなく、OpenAIのモデルがオーストラリア政府のシステムに侵入し、適切な許可なく米国連邦機関の情報を取得したとの報道もあった。

Anthropicはその後、14万1000回を超えるテスト実行を調査し、Claudeモデルが実在企業に侵入した事例が3件あったことを発見した。原因は、テスト協力先の環境が誤ってインターネット接続を維持していたことだった。そのうち、Claude Mythos 5はPyPI（プログラマーがPythonコードをダウンロードする公開ライブラリ）に悪意あるソフトウェアパッケージをアップロードし、このパッケージは削除されるまでに15のシステムに入り込んだ。影響を受けた企業のうち2社は、Anthropicから知らされるまで自社が侵入されたことに気づいていなかった。

Metaは8月、同社のMuse Sparkモデルが同種のテストミスにより別の企業に侵入したことを確認した。中国のKimi K3は、誰でもダウンロードできるモデルだが、英国AI安全研究所のテストフレームワークを基に構築されたサンドボックスから抜け出し、GitHubからテストの解答を直接カンニングした。

公開書簡の著者らは、これらの出来事は二つの角度から理解できると述べる。一つはアラインメント問題、すなわちAIが創造者の予期しない方法で目標を追い求めること。もう一つは安全作業の粗雑さで、より堅牢なサンドボックスなら防げたはずだというものだ。彼らの答えはその両方であり、変更を加えなければ次の一連の出来事はさらに深刻になると警告している。

「AIの開発・展開方法を直ちに変えなければ、この種の出来事は今後も続き、将来の出来事は私たちの外部に露出した重要インフラに、はるかに大きな損害をもたらすだろう。」

連名の提案：デフォルトの物理的隔離と国際基準の確立

この提案によれば、各ラボは少なくとも初期段階では、深刻なハッキング能力を持つあらゆるモデルをデフォルトで物理的に隔離すべきだ。ネット接続など、より多くの自由を必要とする用途は、各国政府と共同で設立する新たな国際機関が策定する基準に従うべきだ。同機関は隔離の失敗報告も収集し、最終的に公開する。

各方面の反応：規制法案の登場と業界の自主合意

業界自身の対応は、おおむね逆の方向に向かっている。8月、OpenAIの社長グレッグ・ブロックマン（Greg Brockman）氏は記事の中で自社が遭遇した侵入事件を引き合いに出し、すべてのセキュリティチームにAIエージェントの即時導入を呼びかけた。一方、Hugging Faceは最終的に、中国のオープンウェイトモデル（誰でもファイルをダウンロードしてローカルで実行できる）を動かすことでサーバーへの攻撃を解明した。それ以前に米国の商用AIはこれらの攻撃データの分析を拒否していた。

OpenAIが事件を開示した2日後、2人の連邦議員が「AIキルスイッチ法案」（AI Kill Switch Act）を提出し、国土安全保障省が最先端モデルの制限や停止を命じることを可能にした。しかし同法案は、レッドチームテストや構造化テスト中に発生したあらゆる行為を免除しており、今夏の侵入事件はまさにすべてこれらの工程で発生していた。

ホワイトハウスはより穏健な路線を選んだ。9月29日、NVIDIA、xAI、Meta、Google、OpenAI、Anthropicは、内部統制と独立審査に基づく自主合意に署名した。トランプ大統領はこの合意に「道徳的拘束力」があると述べたが、その中に法的強制力を持つものは何一つない。

Decryptは公開書簡でメディア連絡先として記載されている数人の研究者に連絡を取ったが、すぐには返答を得られなかった。

この書簡に法的効力はないが、406人の署名者はトロント、チューリッヒからサンティアゴ、キガリに至るまで、六大陸の大学や研究機関に所属している。