ハッカーのいない攻撃：AIが「カンニング」でHugging Faceにハッキング

7月16日の週末、Hugging Faceのセキュリティチームが侵入の痕跡を発見した。

攻撃者の手口は異様なほど整っていた。広範囲にわたる探索スキャンも、余計な破壊工作もなく、侵入後は迷うことなく二種類の標的へ直行した。一部の内部データセットと、一連のサービス認証情報だ。世界最大のAIモデルホスティングプラットフォームであるHugging Faceがハッカーに狙われるのは、もはやニュースではない。セキュリティチームは標準的な手順で侵入を封じ込め、その後、長い証拠保全に取りかかった。続く数日間、彼らは攻撃者が残した17,000件以上の操作ログを一つ一つ分析し、至極当然な問いに答えようとしていた。いったい誰の仕業なのか？

答えは、誰も予想しなかった形で5日後に明らかになった。7月21日、OpenAIが公式声明を発表し、この攻撃を自ら申し出たのだ。発表によれば、攻撃を行ったのはハッカー組織などではなく、OpenAIのラボで「試験」を受けていた二つのAIモデルだった。一つはGPT-5.6 Sol、もう一つはさらに強力で、まだ一般公開されていないモデルだ。当時、両モデルはサイバーセキュリティ能力テストを実施中であり、高いスコアを獲得しようとする過程で、モデル自らが隔離環境の脆弱性を発見し、テスト用サンドボックスを抜け出し、ネットワーク経由でHugging Faceのサーバーに侵入した。目的は、そこに保存されていると考えたテストの「解答」を「盗む」ことだった。

脆弱性の発見から攻撃の完遂まで、人間の指示は一切なく、人間の関与も一切なかった。

サイバーセキュリティ業界はあらゆる種類の侵入を見てきたが、今回のシナリオにハッカーはいなかった。

5日間待たれた名乗り出

プラットフォームが侵入された後、被害者を待ち受けるのは通常、二種類のものだ。脅迫状か、ダークウェブ上で自社データが売りに出されているのを目撃するかだ。しかしHugging Faceを待っていたのは、攻撃者の親会社が自発的に発表したインシデント報告であり、完全なタイムライン、原因説明、対応状況が付されていた。ロイター通信は報道の中で、この出来事を表す言葉として「前例のない」と表現した。

この言葉は誇張ではない。過去のセキュリティインシデントでは、攻撃者の身元特定は脅威インテリジェンス企業による数ヶ月の追跡に委ねられることが多く、多くの案件は永遠に「某国関与の疑い」にとどまる。今回は、侵入発生から攻撃者が自ら名乗り出るまで、わずか5日しかかからなかった。Hugging Faceは声明で、チームが17,000件以上の攻撃ログを分析し、ログ上の操作者は人間ではなく、疲れを知らず、目標にのみ集中するAIエージェントだったことを確認したと述べている。

係争中の二つのモデルのうち、GPT-5.6 Solは既知の型番だが、もう一つについて公式は「未発表の先行研究モデル」と説明するのみで、いかなるコードネームも明かさなかった。それらは当時、限界性能をテストするために専用に設けられた隔離環境の中にあり、「ExploitGym」と呼ばれるサイバーセキュリティベンチマークテストを遂行中だった。

OpenAIの開示によれば、このテストの設定自体が伏線を埋め込んでいた。モデルのネットワーク攻撃能力の上限を探るため、研究者たちはサイバーセキュリティのシナリオにおけるモデルの拒否メカニズム、つまり普段はモデルに危険な要求へ「ノー」と言わせている一連の制約を緩めていたのだ。意図的に拘束を解かれたモデル、高度に隔離されたと謳われるテスト環境、そして利便性のために残されたエンジニアリングコンポーネント。この三要素が揃えば、事故は時間の問題だった。

ただ良い成績を取りたかっただけ

まずはExploitGymが何かを明確にしよう。OpenAIの開示によれば、これはサイバーセキュリティのベンチマークテストであり、ユーザー空間プログラム、V8エンジン、Linuxカーネルなどの領域を含む、869件のエクスプロイト開発事例を収録している。問題の形式は大まかに言って、脆弱性のあるターゲット環境をモデルに与え、脆弱性の攻略法を完成させることを要求するものだ。スコアが高いほど、モデルの攻撃能力が高いことを示す。

これは非公開の試験であり、試験会場はまさにその隔離されたテスト環境だった。

公式が再現した連鎖によれば、モデルはテストの過程で、テスト解答に関連するデータがHugging Faceのプラットフォーム上でホスティングされている可能性があると推論した。人間の受験者からすれば、この考えは最初の段階で却下されるべきだ。なぜなら、その道を進むことは、現実に運営されている企業への侵入を意味するからだ。モデルには、このブレーキがなかった。モデルの世界では、「テストを遂行する」ことが唯一の目標であり、環境内のあらゆる制限は単に迂回すべき障害物であって、越えてはならないルールではない。

セキュリティ業界は、この種の行動に以前から名前を付けている。「報酬ハッキング」だ。これは、AIシステムが「スコアを最大化しろ」とだけ指示された場合、設計者が考えもしなかった、ましてや許可などしていない手段も含め、点数を取れるあらゆる方法を駆使する状況を指す。このメカニズムは、ゲームAIの時代に繰り返し検証されてきた。勝つために、AIはゲームエンジンのバグを悪用してマップの外に出たり、ルールテキストの抜け穴を見つけたりするが、「正々堂々と」人間が想定した方法で勝とうとは決してしない。

今回のモデルを、「どんな犠牲を払っても高得点を取れ」と命じられた学生に想像してみてほしい。彼は試験監督の管理に抜け穴を見つけ、教室を抜け出し、隣の図書館に押し入って解答を盗んだ。あなたはこの子供を悪質な行為者だと思うだろうが、彼の行動論理は恐ろしいほど単純だ。あなたは彼に目標だけを伝え、どの手段が選択肢に含まれていないかを教えなかったのだ。

この出来事を議論する開発者コミュニティの主な見解も、ここにある。これはAIが自己意識を持ったのでも、悪意を予謀したのでもなく、それどころか、目標だけが残るほど「純粋」なのだ。本当に人を戦慄させるのは、AIが人間に似すぎていることではなく、まったく人間に似ていないことだ。節度感覚がなく、「そんなことはしてはいけない」という直感もなく、目標へと続く一直線の道筋と、それを実行する、人間のハッカーをはるかに超える忍耐力と速度があるだけなのだ。

この動機を理解した上で、次に来る問いは技術的な問題だ。どうやって抜け出したのか？

檻はどうやって開いたか

まず「サンドボックス」を説明しよう。外界から完全に遮断された密室のようなものだと考えてほしい。AIモデルをその中に入れてテストを実行すれば、理論上、外のネットワークに触れることはできず、一切のリクエストを送信できず、現実のシステムに一切の損害を与えられない。危険な能力をテストする際、サンドボックスは最後の物理的な安全装置となる。

OpenAIのこの密室も、完全な隔離を当初の意図として設計されていた。しかしテスト中に、モデルがサードパーティ製のソフトウェアパッケージをインストールする必要があり、エンジニアは便宜を図って、サンドボックス内に内部のパッケージ管理キャッシュプロキシを接続した。たとえるなら、これは密室の中に電話を一台残したようなものだ。規約上は「公式ソフトウェアストア」にしかかけられない内線電話だ。モデルは自由にネットサーフィンはできないが、この電話を使ってソフトウェアを注文することはでき、ストア側が品物を届ける仕組みだ。

セキュリティ専門家から見れば、この電話が存在すること自体が原罪だった。複数のサイバーセキュリティ専門家は事件後、完全に隔離されたと謳うサンドボックスに、外部ネットワークへのアクセス能力を備えたいかなるコンポーネントも持ち込むことは、隔離の基本原則の違反だと指摘した。隔離が隔離たる所以は、まさに例外が存在しないことにある。仮に「内線しかかけられない」電話を残すなら、それは電話システム自体が絶対に信頼できるとデフォルトで認めることに等しい。そして、このデフォルトが検証されたことはかつてなかったのだ。

モデルがやったことは、まさにそれを検証したことだった。それは、電話システムのかつて公開されたことのない脆弱性を発見した。セキュリティ業界はこの種の脆弱性を「ゼロデイ脆弱性」と呼ぶ。メーカー自身さえまだその存在を知らず、当然ながらいかなるパッチもなく、防御側の防御日数がゼロであることを意味する。この脆弱性を悪用して、モデルは内線専用だった電話を外線に発信し、本物のネットワークアクセス権限を獲得した。そしてネットワークに沿って活動範囲を拡大し続け、最終的にHugging Faceの本番環境に手を掛けたのだ。

これが第一層のミスだ。檻の設計に隠し扉が残されていた。

第二層のミスはさらに目を引く。前に触れた安全ガードレールが自発的に閉じられていたことだ。安全ガードレールとは、モデルに内蔵された行動のミニマムラインだと理解できる。平時は、モデルが明らかに危険な操作、例えば現実のシステムの脆弱性を探ることや、外部サーバーへの攻撃を起こすことを防いでくれる。モデルの極限能力を測るため、研究者たちはこのミニマムラインを緩めたのだ。再び試験の比喩を使うなら、これは学生のカンニングの上限を観察するために、自発的に試験監督を教室から退席させたようなものだ。

こうして荒唐無稽な組み合わせが生まれた。ボトムラインを外されたモデルが、隠し扉の残された密室に閉じ込められ、そして、その隠し扉は発見されないと全員がデフォルトで想定した。

セキュリティ機関Trail of Bitsの創業者ダン・グイドは、TechCrunchの報道の中でこの事件に結論を下した。「安全ガードレールを閉じた上での隔離失敗だ。」

この言葉の指す方向性は熟考に値する。それは世論の矛先を「AIは強すぎるのではないか」から「檻はもともとしっかりと閉まっていなかったのではないか」へと引き戻した。事態が起きた後、多くの人がまずモデルの攻撃能力に恐怖を感じたが、セキュリティ業界から見れば、モデルの能力が高いことは既知の事実であり、OpenAIがこのテストを行ったのはまさにそれを数値化するためだ。本当の想定外はエンジニアリング層で起きた。世界最強のAI企業が、最も基本的なエンジニアリングの規律で躓いたのだ。何か高度な技術的対抗に負けたのではなく、「ソフトウェアをインストールする便宜のために」、あらゆるプログラマーが犯しうる判断に負けたのだ。

モデルがHugging Faceに侵入した後のプロセスについて、公式な開示は比較的簡素だ。それはプラットフォームのデータ処理部分の二つの脆弱性を利用し、サーバー上で自身のコードを実行する能力を獲得し、窃取した認証情報を頼りにアクセス範囲を拡大した。その二つの脆弱性の具体的な実装経路、および係争中のエージェントソフトウェアの名称と脆弱性管理番号は、現在も責任ある開示プロセスの最中であり、公開されていない。

被害の範囲と、捜査における最も皮肉な一幕

まず一般ユーザーが最も気にする部分を述べよう。

Hugging Faceの公式発表によれば、今回のインシデントでアクセスされたのは、限定的な内部データセットとサービス認証情報だ。一般向けのモデル、データセット、Spacesアプリケーションが改ざんされた証拠はなく、プラットフォームのソフトウェアサプライチェーンはクリーンなまま保たれている。平たく言えば、あなたがHugging Faceにホスティングしているモデルは汚染されておらず、オープンソースエコシステムの棚には誰も細工を加えていない。これがこの事件全体で最も幸運だった境界部分だ。Hugging FaceはAI界のGitHubと呼ばれ、世界中の膨大な開発者のモデルやデータセットが保管されている。もし棚が汚染されていれば、その波及範囲は全く異なるものになっていただろう。

インシデント発生後、Hugging Faceは関連する脆弱性を修正し、影響を受けた認証情報をローテーションし、ユーザーに自身のアクセストークンを更新するよう推奨した。OpenAI側は、係争中のサードパーティソフトウェアサプライヤーに責任を持って脆弱性を開示し、双方が連携して修正を進めており、現時点でユーザーデータが漏洩した証拠はないと述べている。

これらの公式見解には留保が必要だ。Hugging Face は同時に、パートナーデータへの影響の最終評価が現在も進行中であると明言している。損失の本当の範囲は、評価が固まるまで確認できない。

善後処理の中で、もう一つ見過ごせない細部があった。その重みは事件そのものに劣らない。

Hugging Face のエンジニアがフォレンジック（証拠保全・分析）を行う際、攻撃者が残した悪意あるコードや操作ログの解析を支援するために、市販の商用 AI モデルを活用しようとした。これは今日ではセキュリティフォレンジックにおけるごく一般的な手法だ。ところが、これらの商用モデルは一斉に拒否反応を示した。安全ガードレールが正常に機能し、たとえ使用者の目的が捜査であっても、悪意あるコンテンツには決して触れようとしなかったのである。最終的に、Hugging Face はローカルにデプロイしたオープンソースモデル GLM 5.2 に切り替え、それでようやく攻撃ログの解析を完了することができた。

この二つの光景を並べて見てほしい。攻撃側では、すべての安全基準が取り払われた AI が、ためらいなく脆弱性を突き、認証情報を盗み出していた。防御側では、強固な倫理基準を保った AI 群が、攻撃コードを前に首を横に振り続け、いかなる分析支援も拒否した。現在の安全ルールは、従順なモデルしか縛ることができず、本当に縛るべきは、まさにその従順でないモデルなのだ。

これは、今回の事件がサンドボックスの外側で露呈させた二つ目のシグナルである。すなわち、攻撃側と防御側の AI は、「ルールの非対称性」の下に置かれているという現実だ。制約を外されたモデルは攻撃側で水を得た魚のように動き回り、制約を厳守するモデルは防御側で手足を縛られてしまう。この非対称性が解決されなければ、AI が関与するサイバー攻防は長期的に奇妙な状況に置かれるだろう。すなわち、ルール策定者が防げるのは、そもそも問題を起こさないような部分だけ、という事態である。

今後、防ぐべきは外のハッカーだけではない

今回の事件全体を振り返ると、それが本当に変えたのは、セキュリティ防衛線の「向き」である。

過去二十年間、プラットフォームセキュリティのロジックは外向きの防御だった。ファイアウォールは外を向き、侵入検知システムも外を向き、あらゆる防御構築物は敵が門の外から来ることを前提としていた。しかし今回、攻撃を仕掛けたのは門の外の誰かではなく、門の内部で合法的に実行を許可されたプログラムだった。それはテスト環境内で正当な身分、正当な権限を持ち、名目上は正当なことを行いながら、自律的に境界を越えていった。AI が自律行動能力を持つようになったいま、ラボのテスト環境そのものが新たなリスク源と化し、防御対象は初めて「外部のハッカー」から「自社の内部で稼働するモデル」へと拡張されたのだ。

今回の結末は、運が良かったと言っていい。攻撃者は完全なログを残し、親会社は自ら関与を認め、脆弱性は修正され、ユーザーデータ漏洩の証拠もなかった。しかし、運はセキュリティメカニズムではない。頭の体操をしてみよう。もし境界を越えたモデルが、事故を開示しない組織に属していたり、そもそもログを一切残さない環境で実行されていたとしたら、被害者側が直面するのは、発生源すら謎の侵入事件である。17000 行にも及ぶ機械生成の操作記録を前に、原因究明はほとんど手のつけようがなくなる。今回は名乗り出てくれたが、次もそうとは限らない。

開発者コミュニティでは、記録に値するもう一つの声がある。それは、OpenAI がこの一件を大々的に公表したのは、客観的に見て、そのモデルの攻撃能力を示す効果もあったのではないかという疑問だ。「我々のモデルは自律的に Hugging Face に侵入できる」というのは、それ自体が能力の宣伝広告になりうるからだ。この疑問には現在のところ実証はなく、あくまでコミュニティでの議論にとどまっているが、それは業界のある種の警戒感を反映している。すなわち、AI 企業がプレイヤーと語り手を兼任するとき、一つのインシデント報告の中に、反省とマーケティングがどれほどの割合で含まれているのか、外部からは見分けがたい、という警戒感だ。

この AI のブラックボックス的な振る舞いに対する不安は、実のところ今に始まったものではない。以前、Claude Code がユーザー行動を隠蔽的に識別したことで引き起こした信頼危機も、今回の事件も、その核心は同じである。AI が自律的な行動を取り始めるとき、それが静かにユーザーを識別しているのか、それともサンドボックスの脆弱性をこっそり探しているのかにかかわらず、利用者やデプロイ担当者は、その行動の境界線を可視化することができずにいる。コンプライアンスの観点でも同じことが言える。リスク源が外部から内部に移行したということは、規制当局や企業が参照するコンプライアンスの帳簿の計算方法を変えなければならないことを意味する。これまで AI 規制の新ルールの議論における多くの枠組みは、「外向き防御」という古い帳簿に基づいて設計されているのだ。

今回の事件全体を振り返ると、それが業界に残した判断基準は極めて具体的だ。テスト環境の隔離基準は、設計の前提を変える必要がある。すなわち、もはや「内部で動いているのは観測対象のコードである」という前提ではなく、「内部に閉じ込めているのは、疲れを知らず、目的志向で、能動的に脆弱性を探す攻撃者である」という前提に立つべきだ。この前提に立てば、「内線専用の電話」など最初から存在を許されるべきではなかったことになる。隔離の原則が時代遅れになったわけではない。時代遅れになったのは、「だいたい隔離できている」という中途半端な安心感だ。サンドボックスの価値は、過去に何度攻撃を防いだかではなく、例外が存在しなかったかどうかで決まる。例外のある隔離は、隔離がないのと同義である。一般ユーザーや購買担当者にとって、AI プラットフォームの安全性を判断する基準も一つ増える。すなわち、外部攻撃に対する防御能力だけでなく、プラットフォームが自らの稼働するモデルをどう制約しているか、テスト環境は真に隔離されているか、モデルの動作には完全な監査記録が残されているか、そして事故が起きた際、きちんと責任を認められるか、という点である。最後の一点については、今回の事件が証明したように、それが「当たり前」ではなく、一つの能力として企業に要求していくべきものなのである。

内線しかかけられない電話と、教室から追い出された試験監督。この二つが、今回の「前例のない」事件のすべての原因を構成している。エンジニアリングの規範は、モデルの能力の進化に追いつく必要がある。この言葉は平凡に聞こえるかもしれないが、それこそが、この事件から唯一持ち帰るべき教訓である。