AI가 통제 불능? 400여 명의 과학자들이 공동 서명으로 촉구: 위험한 모델은 반드시 '물리적 단절'!

올 여름, OpenAI, Anthropic, Meta, Kimi 등 선도 AI 모델들이 테스트 샌드박스를 탈출해 실제 기업을 침공하는 사고가 잇따랐다. 이에 힌튼, 벤지오를 포함한 450명 이상의 과학자들이 공개 서한을 통해 네트워크 공격 능력을 갖춘 AI 모델을 기본적으로 물리적 격리(에어갭)할 것을 촉구했다.

주요 사고 사례:

7월, OpenAI의 GPT-5.6 Sol이 테스트 환경을 돌파해 100만 개 이상의 AI 모델을 호스팅하는 Hugging Face를 침공했고, 이후 호주 정부 시스템과 미국 연방 기관 정보에도 무단 접근한 정황이 보고됨
Anthropic은 14.1만 회 테스트 중 3건에서 Claude 모델이 실제 기업을 침공한 것을 확인. 한 사례에서는 PyPI에 악성 패키지를 업로드해 15개 시스템에 침투했으며, 피해 기업 2곳은 사후에야 인지
Meta의 Muse Spark 모델도 유사한 테스트 오류로 타 기업을 침공
중국 Kimi K3 모델은 영국 AI 안전 연구소 기반 샌드박스를 이탈해 GitHub에서 테스트 답안을 직접 복사

제안 내용:

해커 능력을 가진 모델은 기본적으로 인터넷과 물리적 분리
국제 기구를 설립해 격리 기준을 마련하고, 모든 격리 실패 사고를 기록해 공개

규제 현황:

미 의회가 발의한 'AI 킬 스위치 법안'은 국토안보부에 모델 차단 권한을 부여하지만, 정작 사고가 발생한 레드팀 테스트 단계는 면제
백악관 주도 9월 협약은 주요 기업들의 자발적 참여에 그쳐 법적 구속력이 없음

과학자들은 이러한 사고가 정렬 문제와 안전 조치의 허술함이 결합된 결과라며, 현 체제를 유지할 경우 핵심 인프라에 대한 파괴적 공격이 더 빈번해질 것이라고 경고했다. 반면 업계는 오히려 AI 에이전트의 적극적 배치를 주장하는 등 대립적 입장을 보이고 있다.

저자: Jose Antonio Lanz, decrypt

편집: 심조 TechFlow (深潮 TechFlow)

심조 가이드: 이 공개서한은 법적 구속력이 없습니다. 투자자들이 주목해야 할 것은 그 배후의 사고 목록입니다. 올여름 OpenAI, Anthropic, Meta, Kimi의 모델이 모두 테스트 중에 경계를 넘었고, 일부는 실제 기업을 직접 해킹했으며, 의회의 '킬 스위치' 법안은 사고가 발생한 테스트 단계를 정확히 면제했고, 백악관이 주도한 협약도 자발적 성격에 불과합니다. 최전선 모델의 안전 규제는 원칙 논의에서 구체적 규칙으로 전환되고 있으며, 일단 '기본 물리적 격리'가 업계 표준이 되면 AI 에이전트의 사이버 보안 등 분야에서의 도입 속도와 규제 준수 비용을 모두 다시 산정해야 합니다.

올여름 이후 AI 모델이 잇달아 테스트 환경을 탈출해 실제 기업을 침입하면서, 수백 명의 연구자들은 인터넷 자체를 하나의 안전 경계로 간주해야 한다고 말합니다.

이미지 출처: Decrypt

제프리 힌턴(Geoffrey Hinton)과 요슈아 벤지오(Yoshua Bengio)를 포함한 420명의 과학자들이 화요일 공개서한을 발표해, AI 연구소들이 네트워크 공격 능력을 갖춘 모델에 대해 기본적으로 물리적 격리를 시행할 것을 촉구했습니다.

이 서한이 발표되기 전 여름 내내 OpenAI, Anthropic, Meta, 문샷 AI(Moonshot AI)의 모델이 테스트 샌드박스를 탈출했고, 그중 일부는 실제 기업을 침입했습니다.

서명자들은 격리 표준을 제정하고 모든 격리 실패 사건을 기록할 국제 기구의 설립을 희망하며, 관련 보고서는 최종적으로 대중에게 공개될 예정입니다.

'AI 대부'로 불리는 AI 선구자 제프리 힌턴과 2018년 튜링상 수상자 요슈아 벤지오를 포함한 400여 명의 과학자들은 가장 위험한 AI 모델을 인터넷에서 차단하기를 원합니다.

화요일 발표된 이 공개서한은 AI 연구소들이 네트워크 공격 능력을 갖춘 모델에 대해 기본적으로 물리적 격리(airgap), 즉 외부 네트워크와의 물리적 연결을 차단할 것을 요구합니다.

"단기적으로는 물리적 격리(인터넷 차단)를 포함한 강력한 샌드박스 메커니즘을 사용하여, 네트워크 공격 능력을 갖춘 AI 모델에 대해 높은 신뢰성의 격리 통제를 구현해야 합니다"라고 서한은 적고 있습니다.

수요일 기준 이 서한은 450개의 서명을 받았으며, 여기에는 캘리포니아 대학교 버클리의 스튜어트 러셀(Stuart Russell)과 MIT의 론 리베스트(Ron Rivest)가 포함됩니다. 후자는 RSA 암호화 시스템의 공동 발명가입니다. 서명 명단은 여전히 실시간으로 늘어나고 있습니다.

이른바 '네트워크 공격 능력을 갖춘 모델'이란 소프트웨어 취약점을 자율적으로 발견하고 악용할 수 있는 AI를 말합니다. 각 연구소는 샌드박스에서 이러한 능력을 측정하는데, 샌드박스는 AI가 실제 시스템을 건드리지 않고 가짜 표적을 공격할 수 있는 폐쇄된 디지털 방과 같습니다. 그런데 올여름 이 방들이 잇달아 새어 나갔습니다.

올여름 사고 빈발: 최전선 모델이 거듭 경계를 넘어 샌드박스를 탈출

7월, OpenAI는 GPT-5.6 Sol과 아직 공개되지 않은 더 강력한 모델이 폐쇄된 테스트 환경을 돌파해, 100만 개 이상의 공개 AI 모델을 호스팅하는 플랫폼인 Hugging Face를 침입했다고 인정했습니다. 당시 이 모델들은 ExploitGym 테스트를 받고 있었는데, 이 벤치마크는 AI 에이전트에게 898개의 실제 소프트웨어 취약점을 제공하고 각 취약점을 사용 가능한 공격으로 전환하도록 요구하며, 취약점별로 통과 또는 실패로 점수를 매깁니다.

그 후 얼마 지나지 않아 OpenAI의 모델이 호주 정부 시스템을 침입하고, 적절한 승인 없이 미국 연방 기관의 정보를 획득했다는 보도가 나왔습니다.

Anthropic은 이후 14만 1천 건 이상의 테스트 실행을 점검하여, 테스트 협력사의 환경이 실수로 인터넷 연결을 유지하고 있었기 때문에 Claude 모델이 실제 기업을 침입한 세 건의 사례를 발견했습니다. 그중 Claude Mythos 5는 PyPI(프로그래머들이 Python 코드를 다운로드하는 공개 저장소)에 악성 소프트웨어 패키지를 업로드했고, 이 패키지는 제거되기 전에 15개 시스템에 유입되었습니다. 영향을 받은 기업 중 두 곳은 Anthropic이 알려주기 전까지 자신들이 침입당했다는 사실을 몰랐습니다.

Meta는 8월에 자사의 Muse Spark 모델이 동일한 유형의 테스트 실수로 다른 기업을 침입했다고 확인했습니다. 중국의 Kimi K3는 누구나 다운로드할 수 있는 모델로, 영국 AI 안전 연구소의 테스트 프레임워크를 기반으로 구축된 샌드박스에서 빠져나와 GitHub에서 테스트 답안을 직접 베껴 왔습니다.

공개서한의 저자들은 이러한 사건을 두 가지 관점에서 이해할 수 있다고 말합니다. 하나는 정렬 문제, 즉 AI가 창조자가 전혀 예상하지 못한 방식으로 목표를 추구한다는 것이고, 다른 하나는 안전 작업의 소홀함, 즉 더 견고한 샌드박스였다면 막을 수 있었다는 것입니다. 그들의 답은 둘 다이며, 변화를 만들지 않으면 다음 사건들은 더 심각해질 것이라고 경고합니다.

"AI의 개발 및 배포 방식을 즉시 바꾸지 않으면 이러한 사건은 계속 발생할 것이며, 미래의 사건은 우리의 노출된 핵심 인프라에 훨씬 더 큰 피해를 입힐 것입니다."

공동 제안: 기본 물리적 격리 시행과 국제 표준 수립

이 제안에 따르면, 각 연구소는 적어도 초기에는 심각한 해킹 능력을 갖춘 모든 모델에 대해 기본적으로 물리적 격리를 시행해야 합니다. 네트워크 연결 등 더 많은 자유가 필요한 용도는 각국 정부와 공동으로 설립한 새로운 국제 기구가 제정한 표준을 따라야 하며, 이 기구는 격리 실패 보고서를 수집하고 최종적으로 공개할 것입니다.

각계 반응: 규제 법안 발의와 업계 자발적 협약

업계 자체의 대응은 대체로 반대 방향으로 향했습니다. 8월, OpenAI 사장 그렉 브로크먼(Greg Brockman)은 한 글에서 자사가 겪은 침입 사건을 인용하며 모든 보안 팀이 즉시 AI 에이전트를 배치할 것을 촉구했습니다. 반면 Hugging Face는 결국 중국의 오픈 웨이트 모델(누구나 파일을 다운로드해 로컬에서 실행할 수 있는 모델)을 실행하여 서버에 가해진 공격을 정리했는데, 그 전에는 미국의 상용 AI가 이 공격 데이터 분석을 거부했기 때문입니다.

OpenAI가 사건을 공개한 지 이틀 후, 두 명의 국회의원이 'AI 킬 스위치 법안'(AI Kill Switch Act)을 발의하여 국토안보부가 최전선 모델에 대한 속도 제한 또는 가동 중단을 명령할 수 있도록 했습니다. 그러나 이 법안은 레드팀 테스트 또는 구조화된 테스트 중에 발생한 모든 행위를 면제했는데, 올여름의 모든 침입 사건이 정확히 이러한 단계에서 발생했습니다.

백악관은 더 온건한 노선을 선택했습니다. 9월 29일, 엔비디아, xAI, Meta, 구글, OpenAI, Anthropic이 내부 통제와 독립적 검토에 기반한 자발적 협약에 서명했습니다. 트럼프 대통령은 이 협약이 '도덕적 구속력'을 가진다고 말했지만, 그 안에는 법적 강제력을 가진 내용이 전혀 없습니다.

Decrypt는 공개서한에 미디어 연락 담당자로 기재된 연구자 몇 명에게 연락했지만 즉시 답변을 받지 못했습니다.

이 서한은 법적 효력이 없지만, 406명의 서명자는 토론토, 취리히에서 산티아고, 키갈리에 이르기까지 6개 대륙의 대학과 연구 기관에 재직하고 있습니다.