2026년 6월, 앤트로픽 CEO 다리오 아모데이는 "AI 기하급수적 성장에 대한 정책"이라는 제목의 공개 글을 발표했습니다. 이 장문의 글에서 그는 미국 정부가 연방항공청(FAA)과 유사한 규제 기관을 설립하여 모든 최첨단 AI 모델에 대해 의무적인 제3자 검증을 실시해야 한다는 구체적인 제안을 내놓았습니다. 검증은 사이버 보안, 생물학 무기, 폭주 위험, 자동화 개발이라는 네 가지 영역을 포괄해야 합니다. 정부는 검증에 실패한 모델의 출시를 차단할 권한을 가져야 합니다.

같은 기사에서 아모데이는 실리콘 밸리 CEO들 사이에서는 매우 드문 발언을 했습니다. 그는 AI가 "상당하고 지속적인 실업"으로 이어질 수 있으며, 이는 "기술이 인간의 인지 능력을 광범위하게 모방하려는 고유한 특성" 때문일 수 있고, 전통적인 경제 적응 메커니즘은 기술 발전 속도에 압도될 수 있다고 지적했습니다.

오랫동안 "책임 있는 규모 확장 정책(RSP)"을 옹호해 온 CEO에게 이러한 발언은 결코 가볍게 여길 말이 아닙니다. 지난 3년간 그는 투명한 기업 정보 공개와 위험 요소가 구체화될 때까지 입법 활동을 미루는 입장을 일관되게 유지해 왔습니다. 그러나 이제 그는 정부 개입을 적극적으로 촉구할 뿐만 아니라, 앤트로픽사가 이러한 규제 체계의 시행을 위해 약 3억 5천만 달러를 투자할 것이라고 발표했습니다.

"기업의 자율 규제와 정부 개입 대기"에서 "적극적으로 자금과 노력을 투입하여 입법을 추진하는" 방향으로의 전환 자체가 중요한 신호입니다. 아모데이의 입장은 지난 몇 년 동안 어떻게 수정되었을까요? 그가 "내부적 제약"에서 "외부적 요구"로 입장을 바꾸게 된 요인은 무엇이었을까요?

낙관적인 편지, 경고, 그리고 도움을 요청하는 외침

아모데이는 저서 "AI 기하급수적 발전에 대한 정책"에서 AI 기술이 기하급수적으로 발전하고 있으며, 기존 정책 결정 과정의 대응 속도를 훨씬 앞지르고 있다고 진단했습니다. 그는 이 글에서 올해 4월 출시된 앤트로픽의 클로드 미토스 프리뷰 모델이 사이버 보안 분야에서 국가 수준의 취약점 탐지 능력을 입증했다고 언급합니다. 앤트로픽이 공식 공개한 시스템 카드에 따르면, 이 모델은 제로데이 취약점 탐지 등의 작업에서 국가 안보 기관에 보고해야 할 기준에 도달한 것으로 나타났습니다.

제안된 해결책은 FAA와 유사한 의무적인 규제 메커니즘을 구축하는 것입니다. 출시 전 모델은 4개 분야에 걸쳐 제3자 테스트를 거쳐야 하며, 정부는 테스트에 실패한 모델의 출시를 막을 권리를 갖게 됩니다. 이 제안의 핵심은 업계의 자율 규제나 자발적인 약속에 의존하는 것이 아니라 법적 구속력이 있는 사전 승인에 기반한다는 점입니다.

아모데이는 인공지능이 대규모의 지속적인 실업을 초래할 수 있음을 명시적으로 인정합니다. 그는 이러한 현상이 "기술이 인간의 인지 능력을 광범위하게 모방하려는 본질적인 속성" 때문일 수 있으며, 전통적인 경제적 적응 메커니즘이 기술 발전 속도에 압도될 수 있다고 지적합니다. 이러한 평가는 그의 이전 저서인 《기술의 청소년기》에서 제시한 입장과 일관되지만, 더욱 확신에 찬 어조로 표현되었습니다.

앤스로픽은 해당 기사와 함께 세 가지 새로운 계획을 발표했습니다. 첫째, 실증 연구 및 정책 실험을 위한 미래 경제 연구 기금 2억 달러, 둘째, 신진 전문가를 위한 전국 장학 프로그램 1억 5천만 달러, 셋째, 입법 제안 및 실업 정책 프레임워크에 대한 최첨단 모델 테스트 자금 지원입니다. 세 번째 계획의 공식 명칭은 아직 발표되지 않았지만, 여러 언론 보도에 따르면 핵심 내용은 입법 제안에 직접 자금을 지원하는 것입니다.

이 세 가지 사업의 총액은 약 3억 5천만 달러입니다. 참고로, 앤스로픽은 2026년 2월에 300억 달러 규모의 시리즈 G 투자 유치를 완료했으며, 당시 기업 가치는 3,800억 달러로 평가되었습니다. 3억 5천만 달러는 해당 투자 유치액의 약 1.2%에 해당합니다.

2억 달러 규모의 경제 미래 연구 기금은 갑자기 생겨난 것이 아닙니다. 앤스로픽은 2025년 6월 경제 미래 프로그램을 출범시키면서 초기에는 1천만 달러를 투자했습니다. 1년 만에 규모가 20배로 늘어난 것입니다. 이러한 급격한 증가는 아모데이 CEO가 인공지능의 경제적 영향에 대한 평가를 빠르게 구체화하고 있음을 보여줍니다. 그는 더 이상 인공지능을 장기적인 문제로 여기지 않는 것입니다.

낙관적인 비전에서 정책 제안까지

아모데이의 정책 변화는 갑작스럽게 일어난 것이 아닙니다. 지난 2년간 그가 발표한 세 편의 주요 논문을 함께 살펴보면, 점진적인 정책 수정의 궤적이 드러납니다.

2024년 10월, 아모데이는 "사랑과 은혜의 기계들(Machines of Loving Grace)"이라는 제목의 장문의 글을 발표했습니다. 이 글은 낙관적인 어조를 띠고 있습니다. 그는 이 글에서 인공지능이 인류에게 큰 이익을 가져다주는 미래를 묘사합니다. 생물학과 보건 분야에서는 인공지능이 수십 년이 걸릴 과학적 발견을 단 몇 년으로 단축시킬 수 있고, 경제 발전에서는 전례 없는 생산성 향상을 가져올 수 있으며, 더 나아가 사회 전반에 걸쳐 기후 변화와 빈곤과 같은 주요 문제들을 해결하는 데 도움을 줄 잠재력을 지니고 있다고 설명합니다.

이 기사의 핵심 메시지는 인공지능의 위험성은 현실적이지만, 인류가 기술 발전을 위한 중요한 기회를 안전하게 활용할 수 있다면 얻을 수 있는 이점은 엄청나다는 것입니다. 아모데이는 당시 이 기회가 오는 시기를 2026년경으로 예상했습니다.

2026년 1월, 아모데이는 "기술의 청소년기"라는 제목의 장문의 글을 발표했습니다. 이 글의 어조는 크게 바뀌었습니다. 그는 현재의 기술 발전 단계를 인류 문명의 "청소년기"에 비유하며, 위험하고 예측 불가능하지만 피할 수 없는 시기라고 설명했습니다. 그는 순수한 기술적 안보 문제에서 더 광범위한 사회경제적 위험으로 논의의 초점을 옮겨, 인공지능이 가져올 잠재적인 경제적 영향에 대처하기 위한 부유세 도입을 주장했습니다.

아모데이는 자신의 논문에서 인공지능이 경제에 미치는 위험을 더 이상 "관리된 과도기적 고통"으로 묘사하지 않고 "구조적 충격"과 같은 용어를 사용하기 시작했습니다. 그는 인공지능이 노동 시장에 미치는 영향이 점진적이지 않고 오히려 갑작스러울 수 있다고 주장합니다. 특정 인지 능력이 모델에 의해 복제되면 해당 직종은 단기간에 대규모 대체에 직면할 수 있다는 것입니다.

그러다가 2026년 6월 'AI 기하급수적 증가에 대한 정책'이 발표되었다. 아모데이의 입장은 '조기 경고'에서 직접적인 정책 해결책 제시로 바뀌었고, 이를 추진하기 위해 자금과 노력을 아낌없이 투자하겠다는 의지를 보였다.

「사랑과 은혜의 기계들」에서 제시된 낙관적인 비전은 「기술의 청소년기」에서 드러난 현실적인 위험에 의해 압박을 받았고, 후자의 노동 시장에 대한 경고는 「인공지능 기하급수적 성장에 대한 정책」에서 정책 도구의 직접적인 요구로 더욱 고조되었습니다. 이는 입장의 흔들림이 아니라, 기술 역량이 경제와 국가 안보에 미치는 결과에 의해 불가피하게 이루어진 점진적인 판단의 조정입니다.

RSP 버전 1.0에서 3.0으로 업그레이드되면서 무엇이 제거되었나요?

아모데이가 "내부 제약"에서 "외부 요구"로 전환한 이유를 이해하려면 인류학의 내부 자기 규제 체계에 무슨 일이 일어났는지 살펴볼 필요가 있다.

2023년 9월, 앤트로픽은 RSP 버전 1.0을 출시했습니다. 이는 모델이 특정 위험 수준에 도달하고 충분한 보안 조치가 마련되지 않은 경우, 학습 또는 배포를 중단한다는 핵심 원칙을 담은 내부 보안 거버넌스 프레임워크입니다. RSP 1.0은 전형적인 "내부 제약" 접근 방식을 보여줍니다. 즉, 기업이 자체적으로 레드라인을 설정하고, 이를 모니터링하며, 준수를 약속하는 것입니다. 당시 이 프레임워크는 보안 커뮤니티에서 선도적인 AI 기업들의 자율 규제에 대한 벤치마크로 여겨졌습니다.

2026년 2월 24일, 앤트로픽은 RSP 버전 3.0을 출시했습니다. 이 버전에서는 엄격한 학습 중단 조건 수정 등 이전 버전에서 약속했던 일부 사항들을 포기했습니다. 이에 보안 커뮤니티는 즉각 반응했습니다. AI 보안 분야를 오랫동안 지켜봐 온 평론가 즈비 모쇼위츠는 서브스택에 분석 글을 올려 이번 변화를 상업적 경쟁 압력에 굴복한 것이라고 비판했습니다. 효과적 이타주의 포럼에서도 비슷한 비판이 제기되었는데, 앤트로픽이 보안 약속을 저버린 것은 기업의 자율적인 규율에만 의존하는 것이 현실적으로 지속 불가능하다는 것을 보여준다는 주장이었습니다.

RSP가 1.0에서 3.0으로 진화하는 과정에서 구조적인 문제가 드러납니다. 기업 간 경쟁 심화와 기술 발전이라는 두 가지 압력 속에서 기업이 일방적으로 약속한 엄격한 보안 기준을 유지하기란 어려워집니다. 만약 한 기업이 보안 문제로 인해 속도를 늦추는 반면, 경쟁사들은 그러한 제약을 받지 않는다면, 보안에 대한 자율적인 규율은 오히려 경쟁력 약화로 이어질 수 있습니다.

이러한 곤경은 6월 아모데이가 정책적 호소를 하게 된 논리적 토대를 마련했습니다. 그는 저서 "AI 기하급수적 성장에 대한 정책"에서 본질적으로 이를 인정했습니다. 즉, 내부 자율 규제가 불충분하기 때문에 업계의 마지노선을 설정하기 위해서는 외부의 강제력이 필요하다는 것입니다.

하지만 이는 신뢰의 역설을 드러냅니다. 아모데이(Amodei)는 외부 감독을 요구하고 있지만, 앤트로픽(Anthropic) 자체의 자율 규제 체계는 최근 보안 커뮤니티로부터 "퇴보"라는 비판을 받으며 개정되었습니다. 따라서 보안 커뮤니티의 일부 구성원들은 내부 자율 규제를 타협한 기업이 정부의 의무적인 감독을 요구할 자격이 있는지 의문을 제기하고 있습니다. 해커 뉴스(Hacker News)의 토론에서 일부 논평가들은 아모데이를 "선수이면서 동시에 심판"이라고 표현하기도 했습니다.

그들은 3억 5천만 달러로 무엇을 사는 걸까요?

앤트로픽이 발표한 세 가지 새로운 계획은 표면적으로는 자선 및 공익 사업처럼 보입니다. 그러나 아모데이의 정책적 호소와 함께 살펴보면 이러한 기금의 진정한 기능이 더욱 명확해집니다.

미래 경제를 위한 2억 달러 규모의 연구 기금은 실증 연구 및 정책 실험에 사용될 예정입니다. 1억 5천만 달러 규모의 장학 프로그램은 경력 초기 전문가들을 위해 마련될 것입니다. 세 번째 계획은 입법 제안 및 정책 프레임워크를 발전시키기 위한 노력에 직접적인 자금을 지원할 것입니다.

이 자금들은 아모데이가 장문의 글에서 제시한 정책 방향에 정확히 맞춰져 있습니다. 경제미래연구기금은 "AI가 구조적 실업을 야기한다"는 그의 주장을 뒷받침하는 연구에 자금을 지원하여 정책 법안에 대한 학문적 근거를 제공하는 데 사용될 수 있습니다. 장학 프로그램은 그의 경영 철학을 공유하는 전문가 집단을 육성할 수 있습니다. 입법 추진 기금은 가장 직접적인 방식으로, 인류학의 안보 원칙에 부합하는 법안의 초안 작성 및 로비 활동에 자금을 지원합니다.

Hacker News 토론에서 한 개발자가 "규제 포획"이라는 문제를 제기했습니다. 이 개념은 기업들이 규제 압력을 이용하여 업계 진입 장벽을 높이고 시장 지위를 강화하는 것을 의미합니다. 의무적인 제3자 테스트와 높은 규제 비용은 이미 탄탄한 보안팀과 레드팀 테스트 역량을 보유한 Anthropic과 같은 선도 기업에게는 감당할 수 있는 수준입니다. 그러나 자금과 인재가 부족한 스타트업에게는 이러한 비용이 상당한 장벽이 될 수 있습니다.

Medium에 실린 한 분석 기사는 바로 이 질문을 제기합니다. 아모데이의 제안은 안전장치인가, 아니면 규제기관에 포섭하기 위한 청사진인가? 이 기사는 앤트로픽이 RSP 3.0에서 약속했던 강력한 금지 조치를 포기하고, 이제는 정부에 법적 강제력을 동원해 업계 전체를 규제해 달라고 요구하고 있다고 지적합니다.

아모데이의 관점에서 보면, 그는 이것을 모순으로 보지 않을 수도 있습니다. 그의 틀에서 내부 자율 규제의 타협은 외부 강제력의 부재로 인해 발생하는 죄수의 딜레마에서 비롯됩니다. 정부가 통일된 산업 표준을 설정한다면 기업들은 "안전"과 "경쟁" 사이에서 선택할 필요가 없을 것입니다. 이러한 관점에서 3억 5천만 달러는 이러한 딜레마를 해결하려는 시도입니다.

하지만 이러한 논리는 한 가지 전제에 기반합니다. 바로 규제 체계가 공정하게 설계되어야 하며 특정 기업에 유리하게 작용해서는 안 된다는 것입니다. 규제 체계의 추진자이자 자금 지원자인 앤트로픽이 이러한 객관성을 유지할 수 있을지는 여전히 미지수입니다.

보안 업계가 이 방안을 받아들일까요?

아모데이의 정책 제안은 개발자와 보안 커뮤니티 사이에서 "분열적인" 반응을 불러일으켰습니다.

일각에서는 이번 조치가 주요 AI 기업들이 업계 자율 규제의 한계를 인정하고 이처럼 구체적인 정책 권고안과 상당한 재정 투자를 발표한 첫 사례라고 평가합니다. 사이버 보안 및 생물 안전과 같은 민감한 분야에 AI 기술이 빠르게 확산되고 있는 상황에서, 정부의 개입을 통해 규제 기준을 설정하는 것은 필수적이며 시급한 과제입니다.

또 다른 비판 그룹은 두 가지 점에 초점을 맞췄습니다. 첫째는 신뢰 문제였습니다. RSP 3.0에서 앤트로픽이 양보한 내용으로 인해 일부 보안 커뮤니티 구성원들은 회사가 신뢰를 잃었다고 생각했습니다. 서브스택에 실린 즈비 모쇼위츠의 분석은 앤트로픽이 약속을 어긴 부분을 조목조목 비판했습니다. 이러한 배경 속에서 아모데이의 정부 규제 요구는 일부 사람들에게 "스스로 할 수 없다면 정부를 통해 다른 모든 사람에게 강제로 시키겠다"는 의미로 해석되었습니다.

두 번째 우려는 규제 기관의 포획 위험입니다. 의무적인 제3자 테스트에 따른 규정 준수 비용이 선도 기업들에게 진입 장벽으로 작용할 수 있습니다. 앤트로픽의 보안 인프라 투자는 업계 최고 수준입니다. 만약 규제 기준이 앤트로픽의 기존 관행을 기반으로 한다면, 다른 기업들은 따라잡기 위해 막대한 비용을 부담해야 할 것입니다.

하지만 아모데이의 매력 중 하나는 "아무것도 하지 않는" 선택지를 점점 더 받아들이기 어렵게 만든다는 점입니다. 2026년 4월 출시된 클로드 미토스 프리뷰는 많은 관찰자들의 예상을 뛰어넘는 사이버 보안 능력을 보여주었습니다. 앤트로픽의 공식 시스템 카드에 따르면, 이 모델이 제로데이 취약점 탐지 작업에서 보여준 성능은 국가 안보 기관에 보고하는 내부 프로토콜을 발동시켰습니다. 이후 영국의 AI 보안 연구소는 미토스 프리뷰에 대한 독립적인 평가 보고서를 발표하여 그 사이버 보안 능력의 탁월함을 확인했습니다.

모델의 기능이 국가 안보 수준에 도달하고, 기업의 내부 RSP(연구개발 프로그램) 체계가 상업적 경쟁의 압력으로 인해 타협해야 할 때, 남은 선택지는 극히 제한적입니다. 정부가 개입하여 의무적인 제한을 설정하거나, 기업이 엄격한 제약 없이 경쟁을 받아들이는 것뿐입니다. 이러한 갈등은 앤트로픽에만 국한된 것이 아닙니다.

지난 3년 동안 무엇이 바뀌었나요?

아모데이의 경영 철학에서 가장 근본적인 변화는 "책임 있는 규모 확장"부터 "기하급수적인 정책 격차"에 이르기까지, 기업의 자율적인 규제만으로는 인공지능 개발 속도를 따라잡기에 충분하지 않다고 생각하게 되었다는 점입니다.

이러한 판단은 일련의 사건들에 의해 점진적으로 앞당겨졌습니다. 2024년이라는 낙관적인 전망은 2025년과 2026년의 기술적 현실에 직면하여 수정되었습니다. RSP가 1.0 버전에서 3.0 버전으로 업그레이드되면서 발생한 타협은 기업 경쟁의 압력 속에서 내부 자율 규제 체계가 얼마나 취약한지를 보여주었습니다. 클로드 미토스 프리뷰의 기능이 한계를 넘어서면서 "위험이 구체화될 때까지 기다렸다가 입법하는" 점진적 접근 방식은 더 이상 실현 가능하지 않게 되었습니다.

아모데이의 해결책은 외부 강제력 강화로의 전환입니다. 그는 각국 정부에 FAA와 유사한 규제 메커니즘을 구축할 것을 촉구했을 뿐만 아니라, 해당 체계의 시행을 촉진하기 위해 3억 5천만 달러를 투자했습니다. 이러한 전환의 핵심은 기술 발전 속도가 기업의 자율 규제 능력을 초과할 때, 남은 유일한 구속력은 정부라는 것입니다.

하지만 이 계획은 새로운 문제점도 안고 있습니다. 규제 포획의 위험, 자율 규제 의무 후퇴로 인한 신뢰 부족, 그리고 "인공지능이 필연적으로 대규모의 지속적인 실업을 초래할 것"이라는 주장에 대한 경제계의 논란은 모두 아모데이의 정책적 호소가 직면해야 할 실질적인 장애물입니다.

인공지능 산업의 최첨단 동향을 주시하는 사람들에게 아모데이의 장문의 기사는 분명한 신호를 보내줍니다. 안전을 최우선으로 내세우는 인공지능 기업의 CEO가 자사의 자율 규제 체계가 불충분하다고 공개적으로 인정하고 정부 지원을 적극적으로 요청하는 것은 주목할 만한 진전이라는 것입니다.