6월 13일, 미국 정부는 앤트로픽의 가장 진보된 두 모델에 대한 생산을 중단시켰습니다.

하나는 Fable 5이고, 다른 하나는 Mythos 5입니다. 전자는 최근에 공개되었고, 후자는 보다 제한적인 사이버 보안 고객을 대상으로 합니다. 이번 금지 조치는 미국 상무부에서 내린 것으로, 미국 외 지역의 고객뿐 아니라 미국 내 외국인에게도 적용됩니다. 앤스로픽의 최종 선택은 간단했습니다. 모든 서비스를 중단하는 것이었습니다.

이번 사건의 모든 세부 사항을 검토한 결과, 24시간 동안의 대략적인 시간 순서를 다음과 같이 정리했습니다.

Fable 5가 정식 출시된 지 이틀 후인 6월 11일 목요일, 아마존 CEO 앤디 가세티는 백악관에 위험성에 대한 우려를 제기했습니다. 그는 Fable 5의 보안 조치가 우회될 수 있다고 걱정했습니다. 아마존 연구원들이 일련의 조작을 통해 Fable 5에서 접근이 제한되어야 할 정보를 유출하도록 유도했으며, 이 정보는 사이버 공격에 악용될 가능성이 있다는 것입니다.

6월 12일 금요일 아침까지 이 문제는 백악관 최고위급 회의에까지 상정되었습니다. 스콧 베센트 재무장관, 숀 케언크로스 백악관 사이버보안국장, 수지 와일스 백악관 비서실장 등 고위 관리들이 논의에 참여했습니다. 베센트 장관은 당시 휴스턴으로 가는 중이어서 원격으로 회의에 참석했습니다.

그러자 세 통의 전화가 걸려왔습니다.

앤트로픽 CEO 다리오 아모데이가 통화에 참여했을 때, 그는 약 6명의 고위 관리들과 함께 전화기 너머에 앉아 있었습니다. 베센트와 케언크로스 외에도 하워드 루트닉 상무장관이 참석했습니다. 다른 참가자로는 제프리 케슬러 상무부 산업안보 담당 차관, 윌 샤프 백악관 비서실장, 리처드 월터스 백악관 부비서실장, 워커 배럿 대통령 정책 보좌관 등이 있었습니다.

아모데이는 이 상황을 오해라고 해명하려 했습니다. 그는 아마존이 보안 장벽을 광범위하게 제거할 수 있는 일반적인 탈옥 방법이 아니라 특정 우회 방법을 발견했다고 주장했습니다. 이후 앤트로픽은 테스터들이 해당 모델의 보안 시스템을 광범위하게 우회하는 방법을 아직 발견하지 못했다고 공식적으로 밝혔습니다.

하지만 백악관은 납득하지 못했다.

아마존 CEO 아모데이의 조사 결과는 국가안보국(NSA)에 평가를 위해 전달되었고, 백악관은 충분한 증거를 확보했다고 판단했습니다. 정부는 앤트로픽사에게 해당 모델을 자발적으로 서비스에서 제외하고 정부와 협력하여 취약점을 수정할 것을 요청했습니다. 아모데이는 더 많은 시간과 정보가 필요하다고 했지만, 모델을 삭제하겠다는 확답은 하지 않았습니다. 베센트는 전화 통화에서 자신이 "잘못된 결정"을 내렸다고 직접적으로 인정했습니다.

이후 수출 통제가 시행되었다.

앤트로픽 측은 다른 주장을 내세우고 있습니다. 백악관이 모델을 오프라인으로 전환할 시간을 단 90분밖에 주지 않았고, 실제 위협에 대한 구체적인 내용도 제공하지 않았다는 것입니다. 백악관은 앤트로픽의 협조를 얻기 위해 수 시간 동안 노력했지만 실패하자, 수출 통제는 최후의 수단으로 사용되었다고 반박하고 있습니다.

또 다른 중요한 점은 이 문제에 대한 아마존의 입장이 매우 미묘하다는 것입니다.

2024년 말, 아마존은 앤스로픽에 40억 달러를 추가 투자하여 총 투자액을 80억 달러로 늘렸습니다. 앤스로픽은 또한 AWS를 주요 교육 파트너로 지정했으며, 향후 모델 교육 및 배포에는 AWS 칩이 활용될 예정입니다. 클로드(Claude)는 아마존 베드락(Amazon Bedrock)에서 가장 중요한 모델 중 하나로 꾸준히 자리매김해 왔습니다.

마이크로소프트와 오픈AI의 제휴는 이미 널리 알려진 사실이며, 아마존이 앤스로픽에 투자한 것은 원래 이러한 제휴를 우회하기 위한 방안이었다.

마이크로소프트는 오픈AI를 보유하고 있고, 구글은 제미니를 운영하며 앤스로픽에도 투자했습니다. 아마존은 자체 개발한 최첨단 모델이 충분히 강력하지 않기 때문에 AWS의 컴퓨팅 파워, 트레이니움 칩, 베드락 플랫폼을 외부 모델 기업에 의존할 수밖에 없습니다.

하지만 1년 반 후, 아마존과 오픈AI도 협력 관계를 맺었습니다.

올해 아마존은 오픈AI에 최대 500억 달러를 투자하는 방안을 협상 중인 것으로 알려졌습니다. 당시 오픈AI는 최대 1,000억 달러의 신규 자금 조달을 모색하고 있었으며, 이 거래에는 오픈AI가 아마존으로부터 AI 칩을 구매하는 내용이 포함될 수 있었습니다. 악시오스는 또한 오픈AI의 연간 매출이 2025년까지 200억 달러를 넘어설 것으로 예상되지만, 투자 약정액은 1조 4천억 달러에 달할 것으로 추산된다고 보도했습니다.

아마존은 자사의 컴퓨팅 파워를 활용하고, 자체 개발 칩을 검증하며, 데이터 센터를 채울 수 있는 최첨단 모델 기업들이 필요합니다. 또한, 가장 진보된 모델들을 자사의 엔터프라이즈 클라우드에 제공해야 합니다. 이는 더 이상 단순한 재정적 투자가 아닙니다.

따라서 이 회사는 앤트로픽에 투자하는 동시에 오픈AI와도 긴밀한 관계를 유지하고 있습니다. 또한 모델링 회사에 재정적 지원을 제공하는 동시에 공급업체 역할도 합니다. 이 회사는 모델링 회사들이 모델을 판매하도록 돕는 동시에 정부에 이러한 모델이 얼마나 위험한지 설명해야 하는 책임도 있습니다.

결국 아마존은 앤트로픽에 대항하는 입장을 취했습니다. 앤트로픽의 관점에서 보면, 자금 지원, 클라우드 서비스, 칩, 유통 채널까지 제공하는 파트너는 정부에 강력한 안보 신호를 보내 금지 조치를 촉발할 만큼 심각한 문제가 된 것입니다. 물론 아마존 측은 "백악관에서 요청했고, 나는 그들의 질문에 답했을 뿐"이라고 주장하고 있습니다.

지난 2년간 AI 기업들은 스스로를 국가적 자산으로 포장하는 데 주력해 왔습니다. AI 역량이 뛰어날수록 기업 가치가 높아지고, 자금 조달이 수월해지며, 정부 조달 전망도 더욱 밝아지기 때문입니다. 앤트로픽은 이러한 전략을 특히 효과적으로 구사합니다. 오픈AI와 차별화하기 위해 보다 신중한 보안 용어를 사용하는 한편, "최첨단 기술의 위험성"이라는 수사를 통해 규제 당국에 자사의 사업을 진지하게 받아들여야 한다는 점을 설득하려 합니다.

이제 미국 정부는 이 모델을 진정한 국가 안보 자산으로 여기고 있습니다.

백악관 관계자들이 혼란스러워하는 이유도 바로 여기에 있습니다. 폴리티코 보도에 따르면 백악관 측은 아모데이 교수가 인류 문명 기술의 위험성을 핵폭탄에 비유하는 것을 들었다고 합니다. 그가 알려진 보안 취약점 때문에 모델을 오프라인으로 전환하는 것을 거부하자, 정부 관계자들은 이를 기술적인 의견 차이가 아니라 태도의 문제로 여겼습니다.

양측이 충돌한 것은 이번이 처음이 아닙니다. 지난 3월 3일, 미 국방부는 앤트로픽사가 자사의 AI 도구를 대규모 국내 감시 및 자율 무기에 사용하는 것을 허용하지 않자 해당 회사를 공급망 위험 요소로 지정했습니다.

인류와 미국 정부는 오랜 기간 갈등 관계를 유지해 왔습니다.

이번에 앤트로픽은 정부 지침이 구체적인 국가 안보 문제를 해결하지 못했다고 지적하며, 기술적 사실에 근거한 투명하고 명확하며 법적 근거가 부족한 절차를 거쳤다고 비판했습니다. 앤트로픽은 이러한 조치가 편법적인 회피 수단에 불과하며, 광범위한 금지 조치를 정당화하기에는 불충분하다고 주장합니다.

하지만 정부의 관점에서 모델 보안은 더 이상 기업이 백서를 작성하고, 레드팀 테스트를 수행하고, 시스템 정보를 직접 공개하는 내부 프로세스가 아닙니다. 누가 모델에 접근할 수 있는지, 누가 모델을 학습시킬 수 있는지, 그리고 외국인 직원이 모델 가중치를 볼 수 있는지 여부는 모두 수출입 통제 대상이 될 것입니다.

앤트로픽은 지난 4월 미소스(Mythos)를 소수의 기술 및 사이버 보안 회사에만 제공할 것이라고 발표했을 당시 이미 백악관과 여러 차례 회의를 가진 상태였습니다. 페이블 5(Fable 5) 역시 출시 전 미국 정부와 영국 AI 보안 연구소의 검토를 거쳤습니다. 앤트로픽은 정부가 모델 출시 전에 이의를 제기하지 않았다고 주장합니다.

이로 인해 갈등은 더욱 악화됩니다.

모델이 공개되기 전에는 안보 협력에 관한 것이었고, 모델이 공개된 후에는 국가 안보에 관한 것이 되었습니다.

OpenAI는 사건 발생 과정을 방관했습니다.

앤트로픽이 가장 강력한 모델 개발을 중단할 수밖에 없게 되면서 오픈AI의 상대적 입지는 더욱 유리해졌습니다. 앤트로픽이 규제 문제에 얽히게 될수록 오픈AI가 '협력' 옵션으로 자리매김하기가 더 쉬워집니다. 아마존이 오픈AI와 더욱 가까워진다면, 아마존 역시 추가적인 안전장치를 확보하게 될 것입니다.

물론 아마존이 오픈AI가 앤스로픽을 공격하는 것을 돕고 있다는 공개적인 증거는 없습니다.

더욱 심각한 문제는 현재의 모델이 수조 달러 규모의 자본 지출 주기에 접어들면서 파트너십이 더 이상 투명하지 않다는 점입니다. 클라우드 공급업체는 모델 기업에 투자하고, 모델 기업은 클라우드 컴퓨팅 파워를 구매하며, 정부는 클라우드 공급업체에 보안 위험에 대해 문의하고, 경쟁업체들은 동일한 규제 영역에서 서로를 견제하기 위한 레드팀을 구성하고 있습니다.

같은 기업들이 금융기관, 공급업체, 유통업체, 그리고 평가자 역할을 모두 수행하기 시작했습니다.

이는 탈옥에 대한 어떤 힌트보다도 더 중요합니다.

Fable 5와 Mythos 5 서비스가 종료된 날 밤, Anthropic은 두 가지 모델에 대한 접근 권한뿐만 아니라 자신들의 스토리텔링에 대한 통제력까지 일부 잃었습니다.

아마존은 여전히 ​​AWS 콘솔을 장악하고 있습니다. OpenAI의 투자 유치 라운드도 순조롭게 진행되고 있습니다. 미국 정부는 이미 해당 모델 출시 행사에 참석할 예정입니다.