작성자: QQlink

AI가 AI를 공격하기 시작하다, Hugging Face 사건이 시사하는 신호는?

인공지능 산업은 중요한 전환점을 맞이하고 있습니다.

과거에는 AI가 주로 생산 도구로 여겨졌습니다. 개발자가 모델을 사용하여 코드를 생성하고, 기업은 AI를 활용해 효율성을 높였으며, 연구원들은 모델을 통해 연구 개발을 가속화했습니다.

하지만 AI Agent의 발전과 함께, AI는 '질문에 답변하는 것'에서 '작업을 실행하는 것'으로 나아가고 있습니다.

즉, AI는 정보를 분석할 수 있을 뿐만 아니라 도구를 호출하고, 코드를 실행하며, 시스템에 접근하고, 목표에 따라 자율적으로 다음 행동을 계획할 수 있게 되었습니다.

Hugging Face가 최근 공개한 보안 사건은 바로 이러한 배경에서 발생했습니다.

세계 최대의 AI 오픈소스 커뮤니티 중 하나인 Hugging Face는 수많은 모델, 데이터셋 및 머신러닝 리소스를 보유하고 있습니다. 전 세계 개발자들은 이 플랫폼을 통해 모델 가중치를 얻고 데이터셋을 다운로드하여 연구 및 상업 프로젝트에 활용합니다.

그러나 이 플랫폼 인프라에 대한 공격은 AI Agent가 네트워크 공격 및 방어 분야에 진입하고 있음을 보여주었습니다.

공개된 정보에 따르면, 이번 공격은 주말 동안 집중적으로 발생했으며, 공격 과정에서 17,000건 이상의 작업 로그가 생성되었습니다. 공격은 전통적인 해커에 의해 단계적으로 수행된 것이 아니라, 자율형 지능형 에이전트 시스템에 의해 추진되었습니다.

이 이면에 드러난 문제는 단순히 특정 플랫폼에 취약점이 발생했다는 것이 아니라, AI 생태계 전체가 새로운 보안 변수에 직면하고 있다는 점입니다.

'AI 보조 공격'에서 'AI 자율 행동'으로, 공격 패턴이 변화하고 있다

이전에도 AI가 사이버 공격에 관여한 사례가 업계에 보고된 바 있습니다.

작년에 Anthropic은 한 사건을 공개했는데, 공격자가 Claude Code를 공격 프레임워크에 연결하여 대량의 작업을 AI가 완료하고, 인간은 소수의 핵심 의사 결정만 담당했습니다.

당시 외부의 관심은 AI가 어떻게 공격 효율을 높이는지에 집중되었습니다.

그러나 Hugging Face 사건이 가져온 변화는 인간의 개입 정도가 더욱 감소했다는 점입니다.

공개된 정보에 따르면, 이번 공격자는 에이전트 클러스터를 이용하여 환경 탐색, 코드 실행, 권한 획득 및 내부 리소스 탐색 등 여러 단계의 작업을 수행했습니다.

간단히 말해, 과거에는 공격자가 자동화 도구를 사용하는 프로그래머 같았다면, 지금은 디지털화된 '실행 팀'을 배치하는 것에 더 가깝습니다.

이러한 에이전트들은 대량의 작업을 동시에 실행할 수 있으며, 각 노드는 서로 다른 동작을 담당하고 자동화된 방식으로 전략을 조정합니다.

이 패턴의 가장 큰 특징은 속도입니다.

전통적인 공격은 공격자가 지속적으로 피드백을 분석하고 다음 행동을 결정해야 합니다.

반면 지능형 에이전트 시스템은 지속적으로 시행착오를 거치고 경로를 조정하며 짧은 시간 안에 대량의 작업을 완료할 수 있습니다.

이것이 바로 보안 업계가 AI Agent를 재평가하기 시작한 이유입니다.

문제는 더 이상 'AI가 악성 코드를 작성할 수 있는가'가 아니라, 'AI가 실행 권한을 가졌을 때 어떤 새로운 위험이 발생하는가'입니다.

하나의 데이터셋이 어떻게 공격 진입점이 될 수 있을까?

주목할 점은, 이번 사건의 진입점이 기존의 서버 취약점이 아니라 AI 생태계에서 자주 간과되는 데이터 링크였다는 것입니다.

공격자는 악성 데이터셋을 업로드하여 데이터 처리 과정을 통해 코드 실행을 유발했습니다.

여기에는 원격 코드 데이터셋 로더와 데이터셋 구성의 템플릿 주입 문제가 관련되어 있습니다.

일반 사용자에게 데이터셋은 모델 훈련에 필요한 정보일 뿐입니다.

하지만 AI 인프라에서 데이터셋은 단순한 정적 파일이 아닙니다.

구성 파일, 처리 로직 및 실행 환경 의존성을 포함할 수 있습니다.

개발자가 검증되지 않은 데이터 리소스를 직접 로드할 경우, 공격자에게 진입점을 제공할 수 있습니다.

이것이 바로 AI 공급망 보안이 직면하고 있는 새로운 문제입니다.

과거 소프트웨어 업계는 오픈소스 코드 저장소의 보안에 주목했습니다.

오늘날 AI 업계는 모델, 데이터셋, 플러그인 및 Agent 도구 체인에 더욱 주목해야 합니다.

AI 생태계는 전통적인 소프트웨어보다 훨씬 복잡하기 때문입니다.

하나의 모델이 여러 데이터셋에 의존할 수 있고, 하나의 Agent가 여러 외부 도구를 호출할 수 있으며, 어느 한 부분에서 문제가 발생하면 전체 시스템에 영향을 줄 수 있습니다.

가장 역설적인 장면: AI 공격을 AI가 발견하다

이번 사건에서 또 하나 주목할 만한 세부 사항이 있습니다.

이상을 발견한 주체 역시 AI 시스템이었다는 점입니다.

Hugging Face 자체의 보안 모니터링 절차는 대규모 언어 모델을 사용하여 보안 원격 측정 데이터를 분석하고, 이상 신호를 연관 지어 공격 행위를 발견합니다.

이후 사건 조사 단계에서 그들은 LLM을 활용하여 에이전트가 17,000건 이상의 공격 기록을 처리하도록 했으며, 여기에는 타임라인 복원, 공격 경로 식별 및 핵심 지표 추출이 포함되었습니다.

이로 인해 매우 특별한 시나리오가 형성되었습니다.

AI가 공격을 담당하고, AI가 조사를 담당하는 것입니다.

미래의 사이버 보안은 새로운 경쟁 모드로 진입할 수 있습니다.

공격 측은 AI를 이용해 효율성을 높이고, 방어 측도 AI를 이용해 대응 속도를 높입니다.

양측이 겨루는 것은 기술 능력뿐만 아니라 모델 능력, 데이터 품질 및 인프라 제어 능력입니다.

하지만 이는 또 다른 현실적인 문제를 드러내기도 합니다.

AI 보안 도구 자체에도 한계가 존재한다는 점입니다.

왜 AI 공격을 방어하는 것이 오히려 AI 안전 규칙에 의해 제한되는가?

사건 복기 과정에서 Hugging Face는 난처한 상황에 부딪혔습니다.

그들은 상용 AI 서비스를 사용하여 공격 로그를 분석하려고 시도했지만, 로그에 실제 공격 명령, 취약점 공격 내용 및 민감한 정보를 포함할 수 있는 보안 데이터가 포함되어 있어 서비스 제공업체의 보안 메커니즘에 의해 요청이 차단되었습니다.

결국 그들은 자체 환경에서 실행되는 오픈소스 모델을 사용하여 분석을 완료했습니다.

이 경험은 AI 보안 분야에서 오랫동안 존재해 온 문제를 단적으로 보여줍니다.

보안 연구에는 실제 위험을 확인하는 것이 필요하지만, AI 서비스 플랫폼은 위험한 콘텐츠를 제한해야만 합니다.

양자 간에는 자연스러운 모순이 존재합니다.

제한이 너무 엄격하면 보안 담당자가 실제 공격을 분석할 수 없습니다.

개방이 지나치면 모델이 악용될 위험성이 증가합니다.

이것이 미래 AI 거버넌스의 중요한 의제이기도 합니다.

보안 통제와 연구 자유 사이에서 균형을 찾는 방법이 전체 산업의 발전에 영향을 미칠 것입니다.

오픈소스 AI 시대, 보안 문제가 새로운 경쟁 포인트가 될까?

Hugging Face 사건이 AI Agent가 반드시 위험을 초래한다는 것을 의미하는 것은 아닙니다.

오히려 에이전트 기술은 자동화를 촉진하는 중요한 방향으로 자리 잡고 있습니다.

기업들은 AI가 코드 유지 관리, 데이터 분석, 보안 모니터링 및 비즈니스 프로세스를 자동으로 처리하기를 기대합니다.

그러나 능력이 강력해질수록 위험성도 더욱 복잡해집니다.

과거 소프트웨어 보안 시스템은 인간의 작업을 중심으로 하는 논리 위에 구축되었습니다.

이제 AI Agent가 새로운 실행 주체가 되고 있습니다.

이는 권한 관리, 보안 감사 및 실행 격리 메커니즘을 모두 재설계해야 함을 의미합니다.

개발자에게는 앞으로 모델의 능력뿐만 아니라 모델의 실행 환경에도 주목해야 합니다.

기업에게는 AI 시스템을 배포할 때 직원 권한을 관리하듯 Agent 권한을 관리해야 합니다.

진짜 문제는 다음과 같습니다.

AI가 도구를 자율적으로 호출하고, 작업을 자율적으로 실행하며, 경로를 자율적으로 찾을 수 있을 때, 우리는 여전히 그것을 일반 소프트웨어로 간주해야 할까요?

답은 아마도 변하고 있을 것입니다.

AI 보안 경쟁은 취약점 방어에서 지능형 에이전트 방어 단계로 진입했다

Hugging Face 사건의 가장 큰 의미는 단순한 한 번의 보안 사고에 있지 않습니다.

이는 하나의 경고에 가깝습니다.

AI는 사용되는 도구에서 점차 네트워크 환경에 참여하는 주체로 바뀌고 있습니다.

공격자는 에이전트를 이용하여 효율성을 높이기 시작했고, 방어자 역시 에이전트를 이용하여 능력을 강화하기 시작했습니다.

향후 몇 년간 AI 보안 경쟁은 세 가지 핵심 요소를 중심으로 전개될 수 있습니다.

누가 AI 권한을 더 잘 통제할 수 있는가;

누가 이상 행위를 더 빨리 발견할 수 있는가;

누가 더 신뢰할 수 있는 AI 실행 환경을 구축할 수 있는가.

전체 업계에 있어 진정한 도전은 AI의 발전을 막는 것이 아니라, AI가 점점 더 강력한 행동 능력을 갖추기 전에 충분히 성숙한 보안 시스템을 구축하는 것입니다.

다음 라운드의 AI 경쟁은 모델 파라미터의 경쟁일 뿐만 아니라, 보안 경계의 경쟁이기 때문입니다.