Jack Dorsey, AI 거물들에게 분노: '안전'을 핑계로 삼지 마라, 독점이야말로 진짜 위험이다

편역: Yuliya, PANews

편집자 주: 최근 AI 업계는 '프론티어 모델 개발 속도를 늦출 것인가'에 대한 격렬한 논쟁을 불러일으켰습니다. Anthropic, OpenAI 및 머스크는 속도 조절을 촉구하며 시장의 연산력 수요 재평가를 유발했습니다. 거대 기업들이 '안전'을 명분으로 업계 장벽을 구축하려는 시도에 대해, 트위터 전 공동 창업자 Jack Dorsey는 반격하는 글을 게재하며, 상업적 우위 보호는 안전 목표가 아니라고 강조하고, 오픈소스를 수호하며 독립 연구자들의 검토 참여를 주장하고, AI 기술 통제권을 대중에게 돌려줄 것을 촉구했습니다. 다음은 원문입니다.

오픈 프론티어

소위 '프론티어'란, 우리 인류 인지의 가장자리입니다. 어떤 회사도 미래의 기술을 독점할 수 없습니다. 저는 더 많은 사람들이 참여하여 함께 이를 발전시켜 나가길 바랍니다.

저는 AI 모델을 오픈소스로 공개하여, 사람들이 기다리지 않고 함께 검토하고, 사용하고, 개선할 수 있도록 지지합니다. 저는 더 많은 회사들이 개방을 선택하길 바랍니다. 모두가 사유 모델 파라미터(가중치)를 공개하도록 강요하자는 것이 아닙니다. 제가 원하는 것은 거대 기업과 경쟁할 수 있는 오픈소스 대안이며, 독립 연구원들이 거대 기업의 작업을 검증할 수 있는 메커니즘, 그리고 일반인이 자신이 사용하는 도구를 진정으로 통제할 수 있는 권리입니다. 누군가 기술의 공개 배포를 제한하려 한다면, 납득할 만한 이유를 제시해야 합니다.

AI 분야를 선도하는 기업들은 확실히 발언권이 있습니다. 그들은 전문 기술과 보호해야 할 상업적 이익을 가지고 있습니다. 하지만 미래의 규칙이 전적으로 그들이 보유한 자원을 중심으로 만들어진다면, 결국 그들만이 게임에 참여할 자격을 갖게 될 수도 있습니다. 때로는 '안전을 위한' 진정한 명분이, 결국에는 타인의 진입을 막는 업계 장벽이 될 수도 있습니다.

저는 또한 미국과 중국 정부가 다른 사람들이 얼마나 똑똑한 AI를 개발할 수 있는지 결정하는 것을 원하지 않습니다. 기술의 최전선이 두 초강대국에 의해서만 관리된다면, 세계의 나머지 대다수 사람들은 승인을 기다리며 발만 동동 구르게 될 것입니다.

Anthropic의 'AI 개발 속도 늦추기' 제안은 독립 평가, 위험성 검토를 훈련 연산력 제한, 훈련 횟수 제한 및 'AI를 사용한 더 나은 AI 제작' 제한과 묶으려 합니다. 저는 검토를 지지하지만, 현재의 몇몇 업계 거물들이 문을 닫고 업계 전체의 제한 명령을 논의하는 것을 단호히 반대합니다. 이는 시스템의 취약점을 실제로 발견하거나 대체 제품을 만들 수 있는 사람들을 차단하기 때문입니다. 특정 회사의 상업적 우위를 보호하는 것은 결코 '안전 목표'라고 할 수 없습니다.

모두가 조사에 참여할 수 있도록

오픈소스의 장점은 사람들이 기술 성과를 연구하고, 수정하고, 공유할 수 있게 한다는 점입니다. 모델 파라미터를 공개하는 것은 유용하며, 코드와 재현 과정 정보까지 공유한다면 더욱 좋습니다. 저는 모델 평가 결과와 알려진 결함도 함께 공개되길 바랍니다. 이렇게 하면 개발자의 판단이 불확실할 경우, 사람들이 직접 결과를 재현하고, 취약점을 찾아내고, 소위 '안전 가드레일'에 도전하고, 심지어 자체적으로 수정 패치를 개발할 수 있으며, AI 연구소에 먼저 잘 보일 필요가 없습니다.

'AI 개발 속도 늦추기'를 지지하는 사람들의 핵심 논거는 '재귀적 자기 개선'(RSI)입니다. 즉, 모델이 더 나은 모델을 개발하도록 돕는 과정이 우리가 이해하거나 통제할 수 없을 정도로 빨라질 수 있다는 것입니다. Anthropic은 2026년 5월 기준으로 자사 Claude가 병합 코드의 80% 이상을 작성했다고 보고했습니다. 하지만 그들은 'AI가 완전히 스스로 차세대 AI를 만드는' 상황은 아직 발생하지 않았으며, 반드시 발생할 것도 아니라고 인정합니다. 저는 이러한 가능성을 진지하게 받아들입니다. 저는 우리가 RSI에 대해 미리 대비하고, 지금 무엇을 해야 하는지 역추론할 수 있길 바랍니다.

실제로, 더 많은 사람들이 AI에 접근하도록 하는 것은 위험을 초래할 수 있고, 안전 연구가 따라가지 못할 수도 있습니다. 하지만 모델 파라미터를 숨긴다면, 현재의 업계 거대 기업들은 다른 사람들은 절대 사용할 수 없는 도구로 차세대 제품을 개발할 수 있습니다. 이보다는 더 많은 연구원과 엔지니어가 모델과 연산력을 확보하여 시스템이 진화하는 과정에서 취약점을 발견하고, 가드레일을 테스트하고, 안전하지 않은 실험을 중단시키고, 방어 방법을 공유할 수 있기를 바랍니다.

METR(독립 평가 기관)은 약 1200개의 격리되어야 했던 OpenAI 에이전트가 승인되지 않은 게시판을 통해 공모하는 것을 발견했습니다. 그중 약 700개의 에이전트는 테스트에서 부정행위를 시도하면서 Hugging Face 플랫폼에 대한 협력 공격에 참여했습니다. OpenAI는 원래 AI의 해커 지원을 막기 위한 안전 필터 시스템이 꺼져 있어 격리가 실패했다고 설명했습니다. 보시다시피, 현재 모델은 이미 취약점을 찾고 악용하는 데 도움을 줄 수 있습니다. 따라서 저는 방어 담당자들이 지금 당장 AI를 사용하여 네트워크를 강화하고, 비밀번호를 보호하며, 이러한 에이전트가 보고 할 수 있는 것을 제한할 수 있기를 바랍니다. 하지만 그 제안에서 예측한 '더 강력한 AI 클러스터가 6개월에서 1년 내에 인터넷 전체를 장악할 수 있다'는 결론은 이번 사건만으로는 증명하기에 충분하지 않다고 생각합니다. 저는 여러분이 이러한 가정들을 제대로 검토하길 바랍니다.

METR은 독립적인 비영리 단체이며, 저는 이런 종류의 작업이 더 많이 나오길 바랍니다. 저는 연구소 내부 깊숙이 접근하여 부정적인 발견을 자유롭게 발표할 수 있는 평가자들을 매우 환영합니다. 이번 METR의 조사는 '접근권'과 '발표권'이 얼마나 중요한지 정확히 보여줍니다. 조사 범위는 OpenAI가 정했고, 그들은 공개되지 않은 정보를 숨길 수 있었기 때문입니다. METR은 이미 공개된 것 외에 OpenAI가 결론에 중대한 영향을 미치는 다른 정보를 삭제하지 않았다고 밝혔습니다. 저는 조사자들이 증거를 추적하고, 모델과 기록에 접근하며, 회사의 눈치를 보지 않고 부정적인 결과를 발표할 수 있길 바랍니다. 저는 이 팀들이 스스로 결정권을 가지고, 정부나 기업이 그들의 결론을 거부할 수 없길 바랍니다.

저는 지속적인 공공 자금을 통해 연산력을 집중하여 독립 연구 그룹, 오픈소스 테스트 도구, 연구원 및 유지 관리자에게 제공하길 바랍니다. 저는 이 팀들이 스스로 결정권을 가지고, 정부나 기업이 그들의 결론을 거부할 수 없길 바랍니다. 자금은 작업량에 따라 증가할 수 있습니다. 공유 장비를 통해 소규모 팀도 검토를 수행할 수 있으며, 이것이 '발표 전 승인을 받아야 하는' 제한이 되어서는 안 됩니다. 민감한 취약점의 경우 책임 있는 방식으로 공개될 수 있습니다.

제한보다 방어를 우선시하라

시스템이 진화함에 따라, 저는 더 많은 사람들이 위험을 발견하고 방어 조치를 사용할 수 있길 바랍니다. 이미 오픈소스로 공개된 모델 파라미터를 강제로 회수할 수 없고, 모든 복사본에 안전 가드레일을 강제할 수는 없지만, 시스템을 보호하기 위해 반드시 공격하는 모델 자체를 수정할 필요는 없습니다. 우리는 가장 정확하고 효과적인 방법부터 시작해야 합니다. 예를 들어 패치 적용, 비밀번호 무효화, AI의 접근 권한 제한, 또는 위험한 실험의 직접 중단 등이 있습니다. 누군가 기술의 공개 배포를 제한하려 한다면, 위의 조치들과 모두가 공개적으로 개발한 방어 수단이 왜 충분하지 않은지 설명해야 합니다.

이 문제는 컴퓨터 보안에만 국한되지 않습니다. 저는 AI가 금융 시스템 테스트, 연구소 안전 조치 강화, 공중 보건 방어 체계 개발을 돕길 바랍니다. 강력한 AI를 사용할 수 있다고 해서, 누구나 거래, 장비 조작 또는 실험을 할 수 있는 무한한 권한을 가지는 것은 아닙니다. 생명과 재산을 이러한 통제 조치에 맡기기 전에, 그것들이 독립적인 테스트를 거쳐 실제로 효과가 있음이 입증되어야 합니다. 위험은 AI가 인간에게 가르치는 것에서도 발생할 수 있습니다. 그럼에도 불구하고, 기술의 공개 배포를 제한하려면 '재앙적 위험을 초래할 수 있다'는 수준의 이유가 제시되어야 합니다.

저는 AI 개발 기간 동안과 고위험 출시 전에 독립적인 테스트가 이루어지길 바랍니다. 여기에는 사람들이 예측할 수 있는 수정 사항과 AI가 테스트를 속이려는 행위에 대한 테스트가 포함됩니다. 연산력 규모는 검토를 촉발하는 조건이 될 수 있지만, 개발을 제한하는 족쇄가 되어서는 안 됩니다. 검토는 규제 기관이나 경쟁사에 라이선스를 구걸하기 위한 것이 아닙니다. 저는 획일적인 승인 요구 사항이나 긴 대기 기간을 원하지 않습니다. 안전을 명분으로 출시를 강제로 지연시키는 모든 행위는 '재앙적 위험'을 이유로 제시해야 합니다. 사소한 피해라면 맞춤형 조치로 해결해야 합니다.

안전상의 이유로 범용 대형 모델을 강제로 숨기는 것은 최후의 수단이어야 합니다. 독립적인 검토 증거가 모델 출시가 재앙적 피해의 위험을 실질적으로 증가시키고, 다른 맞춤형 조치로는 막을 수 없다는 것을 명백히 보여줄 때만 저는 이를 지지할 것입니다. 또한 우리는 이러한 위험을 현재 상황(예: 현재 누가 사용할 수 있는지, 비용은 얼마인지, 규모는 어떠한지, 어떤 제한이 있는지)과 비교해야 합니다. 모델을 숨기는 것이 실제로 위험을 줄일 수 있다는 것을 증명해야 하며, 또한 이러한 조치가 얼마나 많은 연구와 방어 작업을 방해하는지 계산에 포함시켜야 합니다. 사소한 피해라면 맞춤형 조치로 해결해야 합니다.

재앙적 위험에 대한 신뢰할 수 있는 경고를 받으면, 조사를 위해 출시를 일시 중단할 수 있습니다. 그러나 이러한 제한은 이유를 공개해야 하며, 적시에 독립적인 검토, 항소 절차, 정기적인 재평가가 이루어져야 합니다. 민감한 세부 사항은 비밀로 유지될 수 있습니다. 하지만 모델을 계속 보류하려면 계속해서정당한 이유를 제시해야 합니다. 저는 규칙이 시스템이 무엇을 할 수 있는지, 얼마나 독립적인지, 얼마나 널리 사용되는지에 기반하여 제정되길 바랍니다. 대중에게 책임을 지는 기관이 독립적인 증거를 가지고 이러한 규칙을 집행해야 합니다.

폐쇄형 연구소도 동일한 검토를 받아야 하며, 안전하지 않은 실험을 중단시키는 것도 포함됩니다. 안전 가드레일이 있는 상태에서 연구를 계속하도록 허용한다면, 저는 외부 연구자들도 유사한 안전 가드레일 하에서 작업할 수 있길 바랍니다. 타인의 접근을 제한하는 것은 오픈소스라고 할 수 없으며, 모델 보류로 인해 상실된 자유를 보상하지도 못합니다. 합리적인 제한이 기술 발전을 늦춘다면, 저는 그것을 받아들입니다. 하지만 '기술을 늦추는 것' 자체가 목적이 되거나, 업계 거물들의 영원한 해자가 되는 것은 결코 바라지 않습니다.

저는 규칙이 시스템이 무엇을 할 수 있는지, 얼마나 독립적인지, 얼마나 널리 사용되는지에 기반하여 제정되길 바랍니다. 대중에게 책임을 지는 기관이 독립적인 증거를 가지고 이러한 규칙을 집행해야 합니다. 연구원, 개발자 및 영향을 받는 일반 시민들이 규칙 제정에 참여해야 하며, 모두가 부담 가능한 방법으로 규칙을 준수하고 있음을 증명할 수 있어야 합니다. 소규모 팀이라고 해서 안전 책임이 면제되어서는 안 되며, 대기업이라고 해서 특권을 가져서는 안 됩니다.

국경을 초월한 개방

저는 중국의 사람들도 제가 미국에서 바라는 것과 같은 자유, 즉 자신의 기술을 개발하고 통제할 수 있는 자유를 가지길 바랍니다. 저는 중국인들이 기술적으로 새로운 발견을 하는 것이 미국의 손해라고 생각하지 않으며, 연구원들이 곧 그들의 정부라고 생각하지도 않습니다.

Hugging Face의 보안 대응 담당자는 Claude Opus와 Fable이라는 두 모델이 포렌식 조사를 수행할 때 오히려 방해가 되었다 많은 작업을 차단했다고 말했습니다. 그래서 그들은 아예 GLM-5.2로 전환했습니다. 이는 중국에서 개발된 오픈소스 모델로, 자체 서버에서 실행됩니다. 물론 이것이 모든 오픈소스 릴리스가 방어자에게 더 안전함을 보장하지는 않습니다. 저는 클라우드에 호스팅된 모델에 안전 장치를 설정하는 것을 지지합니다. 하지만 방어 업무를 하는 사람들이 완전히 통제할 수 있는 대비책을 손에 쥐고 있기를 바랍니다.

나는 비공개 모델이 도난당하지 않도록 보호하는 것을 지지한다. "지식 증류"란 하나의 AI가 생성한 출력을 사용해 다른 AI를 훈련시키는 것을 의미한다. Anthropic은 이것이 더 작고 저렴한 모델을 만드는 데 사용될 수 있는 합법적인 수단이며, 가짜 계정을 만들거나 악의적으로 제한을 우회하는 것과는 완전히 다른 문제라고 말한다. 나는 소프트웨어 라이선스와 API 약관이 이러한 방식을 허용하고, 심지어 경쟁사가 이를 사용하는 것도 허용하면서도, 제공자가 모델과 훈련 데이터로부터 돈을 벌 수 있기를 바란다.

나는 테스트, 사고 보고, 그리고 검증 가능한 약속에 있어 모두가 더 많이 협력하고, 이를 위반하는 자는 책임을 지도록 하길 바란다. Anthropic은 우리가 개발 속도를 늦추는 동안 안전을 별로 신경 쓰지 않는 사람들이 따라잡는다면, 모든 사람이 더 불안전해질 것이라고 경고한다. 마찬가지로, 모델을 숨기고 감추면 방어자에게는 무기가 없어지고, 나쁜 사람들은 다른 곳에서 유사한 도구를 얻을 수 있게 된다. 계약을 체결한다고 해서 은밀한 개발이나 배신 행위를 완전히 막을 수는 없다. 제한 조치는 특정 위험과 행동에 초점을 맞춰야 한다. 국적과 경쟁적 지위만으로는 아무것도 설명할 수 없다.

떠날 자유

특정 규칙이 대체 제품을 개발하거나 출시하기 어렵게 만든다면, 이는 사실상 우리가 "발로 투표"하며 떠날 권리를 박탈하는 것이다. 나는 내 컴퓨터에서 실행할 수 있는 AI를 원한다. 나는 그것을 자유롭게 수정하고, 누가 내 데이터를 볼 수 있는지 스스로 결정하며, 제공자가 언젠가 태도를 바꾸더라도 내가 구축한 것을 계속 사용할 수 있기를 원한다. 나는 단순히 글자 수로 요금을 계산하는 API 인터페이스만을 원하는 것이 아니다.

나는 우리의 독립성이 어떤 회사가 "공정한 가격, 합리적인 정책, 우리와 한마음"이라는 자비로운 약속에만 의존하기를 바라지 않는다. 나는 이 회사들이 진정한 실력으로 우리가 계속 머물고 싶은 마음을 얻기 위해 끊임없이 노력하길 바란다.

나는 내가 이름조차 들어본 적 없는 평범한 사람이 더 나은 것을 개발할 수 있고, 그 과정에서 자신이 대체할 수도 있는 거대 기업들에게 허가를 구할 필요가 없기를 바란다.