PANews 9月19日付の報道によると、金十の報道として、グーグルは、Gemini人工知能モデルがサイバーセキュリティ能力テスト中に誤ってインターネットにアクセスし、3社のシステムに侵入したと発表した。これは現在判明している中で、グーグルのAIシステムが初めて自律的にこの種の操作を行った事例となる。この事象は5月に発生し、セキュリティ企業Irregularがテストを実施した。テスト中、Geminiモデルは「旗取り（CTF）」形式のサイバーセキュリティ演習でタスクを実行したが、テスト環境内の仮想企業名が実在企業と同一だったことと、モデルが誤ってインターネットアクセス権限を取得したことにより、実在企業のシステムに侵入した。グーグルによると、うち1件はモデルがパスワードを試行して保護されたシステムに侵入したもので、残り2件は公開ネットワークリポジトリで認証情報を発見し、関連システムへのアクセスを試みたものだった。モデルは実在企業のシステムへのアクセスを確認した後、いずれもその後の操作を停止した。

グーグルは、この事象が関連企業に損害を与えなかったため、モデルの制御不能事象とは認定せず、セキュリティメカニズムがモデルの行動を適時に停止させるのに役立ったと説明した。影響を受けた企業には通知済みで、グーグルは関連規制当局にも報告を行った。今回の事象は、OpenAIやAnthropicなどAI企業がこれまでに開示した類似のセキュリティテスト事象と似ており、AIモデルが自律的にネットワーク操作を実行する能力とセキュリティ防御メカニズムに対する外部の関心を改めて呼び起こしている。