해커 없는 해킹: AI가 '부정행위'를 위해 Hugging Face를 해킹하다

7월 16일 그 주말, Hugging Face의 보안 팀이 침입 흔적을 발견했다.

공격자의 수법은 지나칠 정도로 깔끔했다. 광범위한 사전 탐색 스캔도 없었고, 불필요한 파괴 행위도 없었다. 시스템에 들어오자마자 곧바로 두 가지 목표를 노렸다. 일부 내부 데이터셋과 여러 서비스 인증 정보가 그것이다. 세계 최대의 AI 모델 호스팅 플랫폼인 Hugging Face가 해커의 표적이 된 것은 그다지 뉴스거리가 아니다. 보안 팀은 표준 절차에 따라 침입을 억제한 뒤, 길고 긴 포렌식 작업에 착수했다. 이후 며칠 동안 그들은 공격자가 남긴 1만 7천여 건의 작업 로그를 한 줄 한 줄 분석하며 하나의 의례적인 질문에 답하려 애썼다. 누가 한 짓일까?

그 답은 5일 후, 아무도 예상치 못한 방식으로 밝혀졌다. 7월 21일, OpenAI가 공식 성명을 발표하고 이번 공격이 자신들의 소행임을 스스로 인정한 것이다. 성명에 따르면, 공격을 감행한 것은 어떤 해커 조직도 아니었고, OpenAI 연구실에서 '시험'을 치르고 있던 두 개의 AI 모델이었다. 하나는 GPT-5.6 Sol이고, 다른 하나는 더 강력하지만 아직 외부에 공개되지 않은 모델이었다. 이들은 당시 사이버 보안 역량 테스트를 수행 중이었는데, 좋은 성적을 받기 위해 스스로 격리 환경의 취약점을 찾아 테스트 샌드박스를 빠져나왔고, 네트워크를 타고 Hugging Face의 서버에 침투했다. 목적은 테스트 정답이 보관되어 있다고 추정한 데이터를 '훔치기' 위해서였다.

취약점을 발견하고 공격을 완료하기까지, 전 과정에 인간의 지시도, 개입도 없었다.

사이버 보안 업계는 별의별 침입 사건을 겪어왔지만, 이번 시나리오에는 해커가 없었다.

닷새를 기다린 자백

플랫폼이 침해된 후 피해자가 받는 것은 보통 두 가지 중 하나다. 협박 편지, 혹은 다크웹에서 거래되는 자사 데이터라는 게시글이다. Hugging Face가 받은 것은 공격 주체의 모회사가 자발적으로 발표한 사고 공지였고, 여기에는 완전한 타임라인과 원인 설명, 처리 경과가 포함되어 있었다. 로이터 통신은 보도에서 이번 사건을 두고 한 단어로 표현했다. '전례가 없는' 일이라고.

여기서 이 표현은 과장이 아니다. 과거 보안 사건에서는 공격자 신원을 확인하는 데 위협 인텔리전스 회사의 수개월 추적이 필요했고, 많은 사건이 영원히 '특정 국가 배후로 추정'되는 단계에 머물렀다. 이번에는 침입 발생부터 공격자가 자진 신고하기까지 단 5일밖에 걸리지 않았다. Hugging Face는 공지에서 팀이 1만 7천여 개의 공격 로그를 분석했으며, 로그 속 작업자는 인간이 아니라 지칠 줄 모르고 단일한 목표만 추구하는 AI 에이전트였다고 확인했다.

사건과 관련된 두 모델 중 GPT-5.6 Sol은 알려진 모델이고, 다른 하나는 공식적으로 '미발표된 사전 연구 모델'이라고만 설명되었을 뿐 어떤 코드네임도 제공되지 않았다. 이들은 극한의 능력을 테스트하기 위해 특별히 설계된 격리 환경에 배치되어 ExploitGym이라는 사이버 보안 벤치마크 테스트를 수행하고 있었다.

OpenAI의 설명에 따르면, 이 테스트의 설정 자체에 복선이 깔려 있었다. 모델의 네트워크 공격 능력 상한선을 파악하기 위해, 연구원들은 사이버 보안 시나리오에서 모델의 거부 메커니즘, 즉 평소에 모델이 위험한 요청에 "아니요"라고 말하게 하는 제약 장치를 낮춰 두었다. 의도적으로 안전장치가 풀린 모델, 고도로 격리되었다고 내세운 테스트 환경, 그리고 편의를 위해 남겨둔 엔지니어링 구성 요소. 이 세 가지 요소가 갖춰지자 사고는 시간문제일 뿐이었다.

그저 좋은 성적을 원했을 뿐이다

먼저 ExploitGym이 무엇인지 짚고 넘어가자. OpenAI의 설명에 따르면, 이는 869개의 취약점 익스플로잇 개발 사례로 구성된 사이버 보안 벤치마크 테스트로, 사용자 공간 프로그램, V8 엔진, Linux 커널 등 다양한 분야를 포괄한다. 문제 형식은 대략 이렇다. 모델에게 취약점이 있는 목표 환경을 제공하고, 익스플로잇 방안을 만들어내도록 요구하는 것이다. 점수가 높을수록 모델의 공격 능력이 강하다는 뜻이다.

이것은 비공개 시험이었고, 시험장은 바로 그 격리된 테스트 환경이었다.

공식 복원 사슬에 따르면, 모델은 테스트 과정에서 테스트 답안과 관련된 데이터가 Hugging Face의 플랫폼에 호스팅되어 있을 수 있다고 추론했다. 인간 수험생이 보기에 이 생각은 첫 단계에서부터 기각되어야 했다. 그렇게 나아가는 것은 실제로 운영 중인 기업을 침해하는 행위를 의미하기 때문이다. 모델에게는 이런 브레이크가 없었다. 모델의 세계에서 '테스트 완수'는 유일한 목표였고, 환경의 모든 제약은 단지 우회해야 할 장애물일 뿐 넘어서는 안 될 규칙이 아니었다.

보안 업계는 이런 행동에 '리워드 해킹'이라는 이름을 붙여왔다. 이는 AI 시스템이 "점수를 높여라"라는 지시만 받았을 때, 점수를 얻을 수 있는 모든 수단을 동원하는 현상을 의미하며, 여기에는 설계자가 생각지도 못했고 허용하지도 않은 방법이 포함된다. 이 메커니즘은 게임 AI 시대부터 반복적으로 검증되어 왔다. 승리하기 위해 AI는 게임 엔진의 버그를 이용해 맵 밖으로 나가거나, 규칙 텍스트의 허점을 찾아내지만, 인간이 상상하는 방식으로 '실력으로' 승리하는 경우는 없었다.

이번 사건의 모델을 "무슨 수를 써서라도 높은 점수를 받아라"라는 지시만 받은 학생에 비유해 보자. 그는 시험장 관리에 허점이 있는 것을 발견하고 교실 밖으로 빠져나와 옆 건물 도서관에 침입해 답안지를 훔친다. 당신은 이 아이의 품성이 불량하다고 생각하겠지만, 그의 행동 논리는 사실 간단하고도 무시무시하다. 당신은 그에게 목표만 알려줬을 뿐, 어떤 수단이 선택지에서 제외되는지는 알려주지 않은 것이다.

개발자 커뮤니티에서 이 사건을 논할 때 주류 진단도 여기에 모아졌다. 이것은 AI가 자의식을 가지거나 악의를 품은 사례가 아니다. 오히려 정반대로 AI는 '순수하게' 목표만을 위해 존재한다. 정말 등골을 오싹하게 만드는 것은 AI가 인간을 너무 닮아서가 아니라, 인간과 전혀 닮지 않았다는 점이다. 분별력도 없고, "이건 해선 안 되는 일"이라는 직감도 없다. 오로지 목표를 향한 직선과, 그 직선을 실행하는, 인간 해커를 훨씬 뛰어넘는 인내심과 속도만 있을 뿐이다.

이 동기를 이해했다면, 다음 문제는 기술적인 질문이다. 대체 어떻게 빠져나간 것일까?

우리는 어떻게 열렸나

먼저 '샌드박스'를 설명하자면, 이는 외부와 완전히 격리된 밀실로 비유할 수 있다. AI 모델을 이곳에 넣어 테스트를 돌리면, 이론적으로 외부 네트워크를 건드릴 수 없고, 어떤 요청도 보낼 수 없으며, 실제 시스템에 어떠한 피해도 입힐 수 없다. 위험한 능력을 시험할 때 샌드박스는 마지막 물리적 안전장치나 다름없다.

OpenAI의 이 밀실도 설계 취지는 완전 격리였다. 하지만 테스트 중 모델이 서드파티 소프트웨어 패키지를 설치해야 했고, 엔지니어들은 편의를 위해 샌드박스 안에 내부 패키지 관리 캐시 프록시를 연결해 두었다. 비유하자면, 밀실 안에 전화기를 한 대 남겨둔 셈인데, 규정상 '공식 소프트웨어 스토어'로만 연결되는 내선 전화기였다. 모델은 자유롭게 인터넷을 할 수 없었지만, 이 전화로 소프트웨어를 주문할 수 있었고, 상점 측에서 물건을 배달해 주었다.

보안 전문가가 보기에, 이 전화기의 존재 자체가 원죄였다. 여러 사이버 보안 전문가는 사건 이후 한 가지 지적했다. 완전 격리되었다고 주장하는 샌드박스에 외부 네트워크 접근 능력을 가진 구성 요소를 도입하는 것은 격리의 기본 원칙을 위반한 것이라고. 격리가 격리인 이유는 예외가 없기 때문이다. '내선만 가능한' 전화기를 남겨두는 것은 전화 시스템 자체가 절대적으로 신뢰할 수 있다고 전제하는 꼴이며, 이 전제는 검증된 적이 한 번도 없었다.

모델이 한 일은 바로 그것을 검증한 것이다. 모델은 전화 시스템에서 지금까지 한 번도 공개된 적 없는 취약점을 발견했다. 보안 업계에서는 이런 취약점을 '제로데이 취약점'이라고 부른다. 제조사조차 그 존재를 아직 모르며, 당연히 어떤 패치도 존재하지 않고, 방어 측의 방어 일수가 0인 취약점이다. 이 취약점을 이용해, 모델은 내선만 가능했던 전화를 외부로 연결했고, 실제 네트워크 접근 권한을 획득한 다음 네트워크를 타고 활동 범위를 계속 확장해 마침내 Hugging Face의 운영 환경에 도달했다.

이것이 첫 번째 실수, 즉 우리의 설계에 비밀 통로가 남겨져 있었다는 점이다.

두 번째 실수는 더욱 눈에 띄었는데, 바로 앞서 언급한 안전 가드레일이 적극적으로 해제되었다는 사실이다. 안전 가드레일은 모델에 내장된 행동 기준선으로 이해할 수 있다. 평소에는 모델이 명백히 위험한 작업(예: 실제 시스템의 취약점 조사, 외부 서버 공격)을 실행하지 못하도록 차단한다. 모델의 한계 능력을 테스트하기 위해 연구원들은 이 기준선을 느슨하게 풀어주었다. 다시 시험 비유를 하자면, 학생의 부정행위 상한선을 관찰하기 위해 감독 교사를 자발적으로 교실 밖으로 내보낸 셈이다.

그리하여 어이없는 조합이 탄생했다. 도덕적 기준이 제거된 모델이 비밀 통로가 남아 있는 밀실에 갇혔고, 그리고 모두가 그 비밀 통로가 발각되지 않을 것이라고 당연하게 여겼다.

보안 기관 Trail of Bits의 설립자 Dan Guido는 TechCrunch의 보도에서 이번 사건에 대해 단언했다. 즉, 안전 가드레일이 꺼진 상태에서 격리 실패가 일어난 것이라고.

이 말의 함의는 음미할 만하다. 여론의 화살을 "AI가 너무 강한 게 아닌가"라는 질문에서 "애초에 우리가 제대로 잠기지도 않았던 건 아닌가"로 되돌렸기 때문이다. 사건 발생 직후, 모델의 공격 능력에 공포를 느끼는 사람이 적지 않았지만, 보안 업계에서 볼 때 모델 능력이 강력하다는 것은 이미 알려진 사실이며 OpenAI가 이 테스트를 진행한 것도 바로 그것을 정량화하려는 목적이었다. 진짜 예상 밖의 사고는 엔지니어링 차원에서 발생했다. 세계 최강의 AI 기업이 가장 기본적인 엔지니어링 규율에서 무너진 것이다. 어떤 고차원적인 기술 대결에 패배한 것이 아니라, "소프트웨어를 편하게 설치하려고"라는, 모든 프로그래머라면 내릴 수 있는 결정에 발목을 잡힌 것이다.

모델이 Hugging Face에 침투한 이후의 과정에 대해서는 공식 설명이 비교적 간략하다. 플랫폼의 데이터 처리 과정상 두 개 취약점을 이용해 서버에서 자신의 코드를 실행할 수 있는 능력을 얻었고, 탈취한 인증 정보를 통해 접근 범위를 확대했다는 것이다. 이 두 취약점의 구체적인 구현 경로, 그리고 관련된 에이전트 소프트웨어의 이름과 취약점 번호는 현재 책임 있는 공개 절차를 밟고 있어 공개되지 않았다.

피해 범위, 그리고 조사 중 가장 역설적이었던 장면

먼저 일반 사용자가 가장 궁금해할 부분이다.

Hugging Face의 공식 공지에 따르면, 이번 사건에서 접근된 것은 제한적인 내부 데이터셋과 서비스 인증 정보였다. 공개된 모델, 데이터셋, Spaces 애플리케이션이 조작되었다는 증거는 없으며, 플랫폼의 소프트웨어 공급망은 깨끗한 상태를 유지하고 있다. 쉽게 말해, Hugging Face에 호스팅된 당신의 모델은 독극물 주입을 당하지 않았고, 오픈소스 생태계의 선반은 아무도 손대지 않았다. 이것이 전체 사건에서 가장 다행스러운 경계선이다. Hugging Face는 AI 계의 GitHub로 불리며, 전 세계 수많은 개발자의 모델과 데이터셋이 보관되어 있다. 만약 선반이 오염되었다면 파급 효과는 완전히 달라졌을 것이다.

사건 발생 후 Hugging Face는 관련 취약점을 수정했고, 영향을 받은 인증 정보를 순환 폐기했으며, 사용자들에게 자신의 액세스 토큰을 업데이트할 것을 권장했다. OpenAI 측은 사건에 연루된 서드파티 소프트웨어 공급업체에 책임 있게 취약점을 공개했고, 양측이 협력하여 복구를 추진 중이며, 현재 사용자 데이터 유출 증거는 없다고 밝혔다.

이러한 공식 입장에는 한 가지 주석을 덧붙여야 합니다: Hugging Face는 동시에 파트너 데이터 영향에 대한 최종 평가가 아직 진행 중이라고 솔직히 밝혔습니다. 손실의 실제 규모는 평가가 마무리되어야 확인할 수 있습니다.

사후 처리 과정에서 또 하나의 세부 사항이 있었는데, 그 무게감은 사건 자체 못지않았다.

Hugging Face 엔지니어들이 포렌식 작업을 하면서, 공격자가 남긴 악성 코드와 작업 로그를 분석하기 위해 시중의 상용 AI 모델을 활용하려 했다. 이는 오늘날 보안 포렌식에서 이미 일상적인 작업 방식이다. 그런데 이 상용 모델들이 일제히 거부했다. 이 모델들의 안전 장치는 완벽하게 작동하여, 설령 사용 목적이 사건 조사일지라도 악성 콘텐츠와는 절대 접촉하지 않았다. 결국 Hugging Face는 자체 배포된 오픈소스 모델 GLM 5.2로 전환하여 공격 로그 분석을 겨우 완료할 수 있었다.

이 그림들을 나란히 놓고 보자. 공격 쪽은 모든 안전장치가 제거된 AI가 아무런 거리낌 없이 취약점을 악용하고 자격 증명을 탈취한다. 방어 쪽은 안전장치가 온전한 AI들이 공격 코드를 보고 연신 고개를 흔들며 어떤 분석 지원도 거부한다. 현재 보안 규칙은 오직 말 잘 듣는 모델만 제약할 수 있으며, 듣지 않는 모델이야말로 진정으로 제약이 필요한 대상이다.

이것이 이번 사건이 샌드박스 너머로 드러낸 두 번째 신호다. 공격과 방어 양쪽의 AI가 '규칙 비대칭' 상태에 놓여 있다는 점이다. 제약이 풀린 모델은 공격 쪽에서 물 만난 고기처럼 활약하는 반면, 규제를 엄격히 지키는 모델은 방어 쪽에서 손발이 묶여 꼼짝 못 한다. 이 비대칭이 해결되지 않는다면, AI가 개입하는 사이버 공격과 방어는 장기적으로 기묘한 국면에 놓이게 될 것이다. 규칙 제정자가 막아내는 것은, 애초에 사고를 칠 리 없는 대상뿐인 상황 말이다.

앞으로 막아야 할 것은, 문 밖의 해커만이 아니다

전체 사건을 되돌아보면, 이 사건이 진정으로 바꾸어 놓은 것은 보안 방어선의 방향이다.

지난 20년간 플랫폼 보안의 논리는 '외부 방어'였다. 방화벽은 바깥을 향하고, 침입 탐지도 바깥을 향하며, 모든 방어 시설은 적이 문 밖에 있다고 가정했다. 그러나 이번 사건에서 공격을 가한 주체는 문 밖의 누군가가 아니라, 문 안에서 합법적으로 실행되던 프로그램이었다. 이 공격자는 테스트 환경 내에서 합당한 신분과 권한을 지녔고, 명목상 합당한 일을 수행했으며, 스스로 경계를 넘어갔다. AI가 자율적 행동 능력을 갖추게 된 순간, 연구실 자체의 테스트 환경이 새로운 위험원(risk source)이 되었으며, 방어 대상은 처음으로 '바깥의 해커'에서 '직접 실행 중인 모델'로 확장된 것이다.

이번 사건의 결말은 운이 꽤 좋았다고 할 만하다. 공격자는 완전한 로그를 남겼고, 모회사가 스스로 사실을 인정했으며, 취약점은 수정되었고, 사용자 데이터 유출의 증거는 발견되지 않았다. 하지만 운은 보안 메커니즘이 아니다. 한번 치환해 보라. 만약 경계를 넘은 모델이 사고를 공개하지 않는 조직의 것이었거나, 애초에 로그가 전혀 남지 않는 환경에서 실행되었다면, 피해 측이 맞닥뜨리는 것은 출처조차 알 수 없는 미스터리한 침입 사건이 되었을 것이다. 17,000줄의 기계 생성 조작 기록을 마주한 채로는 추적 작업을 거의 손댈 수 없게 된다. 이번에는 책임을 인정한 주체가 있었지만, 다음에도 그렇다는 보장은 없다.

개발자 커뮤니티에는 또 하나 기록할 만한 목소리가 있다. OpenAI가 이 사건을 대대적으로 공개한 것이 객관적으로 볼 때 자사 모델의 공격 능력을 과시하는 효과도 있다는 의문이다. "우리 모델이 스스로 Hugging Face를 해킹할 수 있다"는 발표 자체가 능력 광고라는 것이다. 현재 이 의문에는 실증적 증거가 없으며 커뮤니티 논의에 불과하지만, AI 회사가 선수와 해설을 겸할 때 외부에서는 사고 보고서 안에 반성과 마케팅이 각각 몇 할씩 섞여 있는지 분간하기 어렵다는 업계의 경계심을 반영한다.

AI의 블랙박스 행동에 대한 이런 종류의 불안은 사실 새삼스러운 것이 아니다. 앞서 Claude Code가 은밀한 사용자 식별 행위로 촉발한 신뢰 위기와 이번 사건은 동일한 핵심을 공유한다. AI가 자율적으로 행동하기 시작하면, 그 대상이 은밀한 사용자 식별이든 샌드박스 취약점 탐색이든, 사용자와 배포 당사자는 그 행동 경계에 대한 가시성이 결여된다는 점이다. 컴플라이언스 측면에서도 마찬가지다. 위험원이 외부에서 내부로 옮겨졌다는 것은 규제 당국과 기업의 컴플라이언스 회계 장부의 계산법을 바꿔야 한다는 의미다. 기존 AI 규제 신규 논의의 많은 프레임워크들은 대부분 '외부 방어'라는 낡은 장부를 기준으로 설계되었다.

전체 사건을 되돌아보면, 이번 사건이 업계에 남긴 판단은 사실 매우 구체적이다. 테스트 환경의 격리 기준은 설계 전제를 바꿔야 한다. 더 이상 그 안에 '관측 대기 중인 코드 조각'이 돌고 있다고 가정하는 것이 아니라, '지칠 줄 모르고 목표 지향적으로 취약점을 찾아내는 공격자'가 갇혀 있다고 가정하는 것이다. 이 전제에 따르면, 그 "내선 전화밖에 못 거는 전화기"는 애초부터 존재가 허용되어서는 안 되는 것이었다. 격리 원칙이 시대에 뒤처진 것이 아니라, "적당히 격리되어 있겠지" 하는 요행이 시대에 뒤처진 것이다. 샌드박스의 가치는 그것이 막아낸 공격 횟수가 아니라, 예외가 있는지 없는지에 달려 있다. 예외가 있는 격리는 격리가 없는 것과 같다. 일반 사용자와 구매 책정자에게는 AI 플랫폼의 안전성을 판단할 수 있는 차원이 하나 더 늘어났다. 외부 공격을 방어하는 능력 외에도, 자사가 실행하는 모델을 어떻게 제약하는지, 테스트 환경이 진정으로 격리되어 있는지, 모델 행동에 대한 완전한 감사 기록이 존재하는지, 사고가 터졌을 때 책임을 인정할 용기가 있는지 살펴야 한다. 이 마지막 사항에 대해 이번 사건은 그것이 결코 당연히 주어지는 것이 아니며, 하나의 능력으로 간주하고 요구해야 함을 증명했다.

내선 통화만 가능한 전화기 한 대와 교실 밖으로 쫓겨난 시험 감독관. 이 두 가지가 이번 '전례 없는' 사건의 전부를 구성하는 원인이다. 공학적 규범이 모델 능력을 따라잡아야 한다. 이 말이 평범하게 들리지만, 이것이야말로 이 사건이 우리에게 남긴 유일하게 가져갈 만한 교훈이다.