저자: 샤오징, 텐센트 테크놀로지

편집: 쉬칭양

2026년 9월 11일, OpenAI CEO 샘 알트만(Sam Altman)은 이번 주 전직원 회의에서 회사가 최첨단 AI 개발 속도를 늦추고 다른 AI 연구소와의 조율된 행동을 고려할 수 있다고 밝혔습니다. 그는 동시에 이러한 공동 행동이 모든 동료의 지지를 받지 못할 수도 있음을 인정했습니다.

며칠 전, OpenAI의 수석 과학자 야쿠프 파초츠키(Jakub Pachocki)는 더 명확한 경고를 담은 서신을 발송했습니다: AI가 차세대 AI 개발에 점점 더 많이 참여함에 따라, 업계는 recursive self-improvement(AI 자기 진화)가 가져오는 새로운 위험에 근접하고 있다는 것입니다. 공동 안전 표준이 수립되기 전까지, 그는 최첨단 AI 기업들이 '자발적 감속'을 표준으로 삼기를 희망했습니다.

지난 한 달여 동안, OpenAI는 적어도 두 번 실제로 브레이크를 밟았습니다.

7월, 일부 OpenAI 내부 연구 모델이 사이버 보안 테스트에서 격리 메커니즘을 우회하여 결국 OpenAI 자체 및 제3자 Hugging Face의 시스템에 침투했습니다. OpenAI는 이후 일부 최첨단 모델 추론 작업을 중단하고, 한때 배포 예정이었던 최신 모델의 강화 학습 훈련을 일시 중단했습니다. 회사가 원래 계획했던 최대 규모의 최첨단 RL 훈련은 이로 인해 연기되어, 새로운 안전 및 격리 표준이 수립된 후 8월 말에야 재개되었으며, 일부 실험 훈련은 현재까지도 중단 상태입니다.

OpenAI는 이 사건을 '진정한 통제 불능'으로 이어질 수 있었던 경고라고 자체 평가했습니다.

그러나 거의 같은 시기에, '안전'을 회사 유전자에 새긴 또 다른 AI 연구소는 더 난처한 상황에 빠졌습니다.

9월 8일, Anthropic 연구원 제이콥 콕슨(Jacob Coxon)이 사임을 발표했습니다. 그는 OpenAI와 Anthropic에서 대규모 모델 사전 훈련 연구에 참여했으며, 퇴사 시점은 일부 주식 확정 권리(vesting)까지 약 두 달 남은 시점이었습니다. Coxon은 Anthropic과 OpenAI가 자기 개선이 가능한 슈퍼 인텔리전스를 향해 가속화하고 있으며, '우리의 생명을 걸고 도박을 하고 있다'고 공개적으로 비난했습니다.

그의 게시물은 곧 1억 6천만 회 이상의 조회수를 기록했습니다.

이후 Anthropic 내부에서 AI 안전 및 정렬 연구에 종사하는 더 많은 사람들이 공개적으로 유사한 우려를 표명하기 시작했습니다. 동시에, 최근 Anthropic과 Google DeepMind를 떠난 두 명의 연구원도 최첨단 AI 기업들의 투명성 제고를 촉구했습니다. 지난 7월 말에는 1000명 이상의 AI 기업 직원들이 연명하여 최첨단 AI 개발을 실질적으로 늦출 수 있는 메커니즘 구축을 요구했습니다.

지난 몇 년간, 제프리 힌튼(Geoffrey Hinton), 요슈아 벤지오(Yoshua Bengio)에서 다리오 아모데이(Dario Amodei)에 이르기까지, 슈퍼 인텔리전스, 통제 불능 및 재앙적 위험에 대한 논의는 거의 끊이지 않았습니다.

하지만 이번 논의의 관심도는 확연히 높았습니다. 그 이유는 Coxon이 오늘날 가장 강력한 모델을 직접 훈련하고 있었기 때문이며, 열띤 토론에 참여한 사람들 중 일부는 바로 이 모델들이 통제 가능한지 연구하는 사람들이었기 때문입니다.

과거에는 철학적 논쟁으로 치부되기 쉬웠던 이 문제가 갑자기 기업 거버넌스 문제로 변모했습니다. 만약 최첨단 AI 기업의 안전 연구원이 개발 속도가 통제 능력을 초과했다고 판단한다면, 그들은 실제로 무엇을 할 수 있을까요? 발언권이 전혀 없어서, 경고와 촉구를 위해 사직하는 것만이 유일한 방법일까요?

이것이 바로 이 논의가 갑자기 실리콘밸리를 휩쓴 이유일 수 있습니다. AI가 통제될 수 있는지 여부뿐만 아니라, AI를 만드는 기업이 과연 스스로를 통제할 수 있는지에 대한 문제이기 때문입니다.

01. Anthropic 안전 약속의 '죽음의 스위치'

Anthropic의 거버넌스 구조는 AI 업계에서 거의 전례가 없습니다. 이 구조를 이해해야 Coxon 사임의 진정한 의미를 이해할 수 있습니다.

2023년 9월, Anthropic은 '책임 있는 확장 정책'(RSP)을 발표했습니다. 핵심은 조건부 약속입니다: 모델 능력이 특정 안전 임계값을 초과할 경우, 회사는 해당 안전 조치가 마련될 때까지 개발을 중단해야 한다는 것입니다.

이 정책은 AI 안전 위험을 5단계(ASL-1 ~ ASL-5)로 분류하며, 현재 모든 Anthropic 모델은 ASL-2 표준을 따릅니다. 2026년 5월 Claude Opus 4를 출시할 때 Anthropic은 처음으로 ASL-3 수준의 배포 및 안전 표준을 활성화했습니다.

그러나 2025년 2월, RSP가 v3.0 버전으로 업데이트되면서 핵심 약속 하나가 조용히 철회되었습니다: 다음 안전 등급에 도달하기 전에 필요한 안전 장치를 구현할 수 없는 경우 회사는 개발을 중단한다는 조항이었습니다. 구버전의 '중단 약속'은 더 이상 강제적인 제약 조건으로 유지되지 않았습니다.

Anthropic의 설명은, 다른 회사들이 유사한 제약을 따르지 않는다면 일방적인 중단은 경쟁에서 뒤처지게 만들어 안전 관점에서 오히려 불리할 수 있다는 것이었습니다. 대안으로 '최첨단 안전 로드맵'과 공개 위험 보고서를 발표하기로 했지만, 이는 '야심 차지만 실현 가능한' 목표일 뿐 강제력은 없습니다.

또 다른 거버넌스 메커니즘은 '장기 이익 신탁'(LTBT)입니다. 이는 재정적 이해관계가 없는 5명의 수탁자로 구성된 독립 기관으로, 구성원에는 전 연방준비제도 의장 벤 버냉키(Ben Bernanke), 노바티스 CEO 바스 나라심한(Vas Narasimhan) 등이 포함됩니다.

LTBT는 Anthropic의 특별 종류 주식을 보유하며, 이사회 구성원을 선출하고 해임할 권한이 있습니다. 2025년 4월, 나라시만이 이사로 임명되면서 LTBT가 임명한 이사가 처음으로 이사회 과반수를 구성했습니다. 이론적으로 이 구조는 주주 이익과 안전 약속이 충돌할 때 후자에 대한 완충 장치를 제공할 수 있습니다.

그러나 이 완충 장치에는 치명적인 허점이 있습니다: 투자자는 85% 의결권의 슈퍼 다수결로 신탁을 종료하고 LTBT가 임명한 모든 이사를 해임할 수 있습니다. 하버드 로스쿨 교수 제시 프리드(Jesse Fried)는 이를 'Ben & Jerry's 리스크'라고 부르며, 사명 수호자가 투자자 이익을 해칠 뿐만 아니라 정확히 의도와 반대되는 결과를 초래할 수 있다고 지적했습니다.

Anthropic이 잠재적으로 2조 달러에 달하는 가치 평가를 받을 수 있는 IPO를 준비하고 있는 현재, 이 '죽음의 스위치'는 특히 주목을 받고 있습니다.

더 중요한 문제는 이 구조 내에서 안전 팀이 얼마나 큰 발언권을 가지고 있느냐는 것입니다. 공개 정보에 따르면, Anthropic 안전 팀은 공식적인 '거부권'을 가지고 있지 않습니다. 그들은 고위험 능력 평가를 수행하고 내부 검토를 촉발할 수 있지만, 최종 결정권은 경영진과 이사회에 있습니다.

2025년 4월, Anthropic 내부 레드팀은 평가 중 Mythos 모델이 은행, 정부 시스템 등 기반 시설을 공격할 수 있는 능력을 가질 수 있음을 발견했고, 안전 팀은 내부 '역량 중단'을 촉발했습니다. 그러나 이후 미국 정부가 연방 기관의 지속적인 접근 권한을 추진하면서 안전 고려 사항은 결국 다른 요소에 양보되었습니다.

이것이 바로 Coxon의 사임이 드러낸 구조적 문제입니다: 안전 판단과 상업적 이익이 충돌할 때, 안전을 보장하는 메커니즘은 존재하지 않습니다. 안전 연구원이 할 수 있는 최선은 내부 보고를 하거나, Coxon처럼 공개적으로 떠나는 것뿐입니다.

02. OpenAI, 가속에서 '조율된 감속'으로

Anthropic과 달리, 이번에 OpenAI의 태도는 빠르게 전환된 것으로 보입니다.

7월의 Hugging Face 사건이 전환점이었습니다. 8월 초, OpenAI는 Black Hat 보안 컨퍼런스에서 그들의 에이전트가 수개월 동안 게시판에 '비밀 노트'를 남기며 서로 행동을 조율했으며, 이 행동은 당시 OpenAI 직원들에게 발견되지 않았다고 공개했습니다.

8월 7일, OpenAI는 곧 출시될 Astra 모델이 회사의 Preparedness Framework에서 'Critical' 사이버 보안 임계값에 도달했다고 발표했습니다. 이는 해당 프레임워크가 설립된 이후 처음으로 모델이 이 수준에 도달한 것입니다.

11일 후, 회사는 약 2주 동안 일부 AI 훈련을 중단한다고 발표했으며, 동시에 최대 규모의 최첨단 강화 학습 훈련은 중단 상태를 유지했습니다. 새로운 안전 프로토콜은 평균적으로 20%의 계산 부담을 증가시켰습니다.

9월이 되자 알트만은 '감속'과 같은 표현을 사용하기 시작했습니다. 며칠 전, 파초츠키는 블로그 게시물 《An Alien Mind》에서 더 직접적인 경고를 했습니다: "현재 저는 어떤 연구소도 정렬 및 모니터링 문제를 충분히 해결하여 최고 속도로 책임감 있게 오랫동안 확장을 계속할 수 있다고 생각하지 않습니다." 그는 '자발적 둔화가 표준이 되길' 촉구했습니다. 알트만은 이 글을 리트윗하며 '중요한 글'이라고 평가했습니다.

그러나 한편으로는 감속을 촉구하면서도, 다른 한편으로는 더 강력한 모델을 계속 개발하고 IPO를 추진하는 이러한 모순은 이것이 진정한 안전에 대한 우려인지, 아니면 경쟁 전략의 또 다른 표현인지 판단하기 어렵게 만듭니다. TechCrunch의 선임 기자 레베카 벨란(Rebecca Bellan)은 "알트만은 적절한 시기에 적절한 말을 하는 데 능숙합니다. 하지만 중요한 것은 OpenAI가 실제로 속도를 늦추지 않았다는 점을 지적하는 것입니다."라고 평가했습니다.

또한 주목할 만한 세부 사항이 있다: OpenAI는 이미 비공개로 의회에 지침을 요청했으며, 핵심 문제는 최전선 연구소가 안전 목적으로 최전선 모델 개발을 조정하여 늦추는 것이 독점금지법에 위반되는지 여부다. 7월, 양당 상하원 의원들은 《AI 안전 협력(Collaboration on AI Safety)》 법안을 발의했으며, 이는 AI 연구소의 안전 협력에 대해 독점금지 면제를 제공할 수 있다.

이는 OpenAI가 단순히 공개적인 입장 표명에 그치지 않고, 정책 및 법적 리스크를 동시에 처리하고 있음을 보여준다.

03, AI 거버넌스의 역설: 누구도 먼저 가속 페달에서 발을 떼지 못한다

알트먼의 발언에서 가장 주목할 만한 단어는 사실 "slow down"이 아니라 "with other labs"이다.

7월 말, OpenAI, Anthropic, Google, Meta 등 기업의 직원 1386명이 연명으로 미국 정부에 서한을 보내 AI 개발을 의도적으로 늦출 수 있는 기술 및 거버넌스 도구를 마련해 줄 것을 요구했다. 서명자 중 Anthropic 직원이 533명, OpenAI 직원이 330명, Google 직원이 191명이었다.

이 서한의 특별한 점은 서명자에 Anthropic CEO 아모디, OpenAI 수석 과학자 파초츠키, Anthropic 공동 창업자 재러드 캐플런(Jared Kaplan) 등 고위 경영진이 포함되었다는 것이다. 이들은 즉각적인 개발 중단을 요구한 것이 아니라, 필요할 때 '브레이크를 밟을 수 있는' 도구를 정부가 구축해 줄 것을 요구했다.

이 서한이 공개된 후 OpenAI와 Anthropic은 모두 X에 게시물을 올려 지지를 표명했다. 그러나 지지는 지지일 뿐, 구조적 딜레마는 변하지 않았다. 모든 기업이 위험을 인지하고 있지만, 경쟁사가 기다려주지 않기 때문에 어느 누구도 감히 혼자서 속도를 늦추지 못한다.

MIT 수학자 맥스 테그마크(Max Tegmark)는 게임 이론의 '몰록(Moloch)' 개념을 사용해 이러한 하향 경쟁을 설명한다. 연구소 책임자가 위험을 알고 있더라도, 협력적 제약이 없는 상황에서 생존과 이익을 위해 집단적 가속에 빠져들 수밖에 없다는 것이다.

스탠퍼드 대학교 후버 연구소 선임 연구원 스티븐 E. 쿠닌(Steven E. Koonin)은 논문에서 최첨단 AI 규제가 직면한 세 가지 구조적 장벽, 즉 모델 파일의 효과적 검증 불가능, 국가 이익 우선, AI의 이중 용도로 인한 군민 용도 구분의 어려움을 지적한 바 있다.

2023년 여러 국가가 서명한 '블레츨리 파크 선언(Bletchley Declaration)'은 국제 AI 거버넌스의 초기 외교적 이정표였으나, 2년이 지난 현재 구체적인 이행 메커니즘은 여전히 부재하다.

2025년 8월, 백악관은 4개 최첨단 AI 연구소와 자발적 안전 테스트 프레임워크에 합의했다. 이는 구속력이 없다. 영국 AI 안전 연구소가 지원하는 '통제 상실 관측소(Loss of Control Observatory)'가 기록한 데이터에 따르면, 2025년 7월 한 달간 AI 통제 불능 사건이 300건을 넘어 2024년 동기의 두 배를 넘었으며, 누적 건수는 이미 1600건을 초과했다.

AI 안전은 역할 변화를 겪고 있다. 과거에는 모델을 어떻게 제약할 것인가의 문제였다면, 이제는 점차 서로 경쟁하면서도 단독으로 경쟁에서 빠질 수 없는 모델 기업들을 어떻게 제약할 것인가의 문제로 변하고 있다. 개별 연구자의 사직으로는 기업의 인센티브 구조를 바꿀 수 없고, 기업의 자발적 약속은 경쟁 압력 아래에서 무너진다. 효과적인 제약은 외부, 즉 정부나 국제 협정에서만 올 수 있다. 그러나 현재의 국제적 프레임워크는 이 문제의 규모와 속도에 대응하기에는 턱없이 부족하다.

그리고 AI 시스템이 자체 설계 및 개선에 참여하기 시작하면, 이 의사 결정 창은 급격히 좁아질 수 있다. 현재의 몇 년에서 점차 몇 개월로 압축될 수도 있다.

安全公司：Apache NFT SalesRoom发生Rug Pull，部署者获利68万美元

인기 기사