저자: 몽야오 , 아오페이쓰 (QbitAI 필명)

양자위 | 공식계정 QbitAI

참！을！수！가！없！어！

A사는 매일 AI가 통제 불능이 될 거라느니, 인터넷이 망할 거라느니 하면서, 정작 자기네 IPO, 자금 조달, 연산력 확장은 하나도 안 늦추고 있잖아??

사람들은 갈수록 수상하다는 생각에 결국 분노가 폭발, 하나둘씩 '차오양구 실리콘밸리 시민'이 되어 나서서 파헤치기 시작했다!

먼저, 영화 '빅쇼트'의 핵심 실제 인물이자 투자자인 마이클 버리가 포문을 열었다.

OpenAI와 A사가 최근 'AI에 브레이크를 걸자'고 집단적으로 호소하는 행동을 두고 이기적이고 순전한 과장이라고 직격했다.

이어 미국 조사 블로거 케빈 배스가 실제로 돈의 흐름을 따라 파고들었다.

그러자 정말로 꽤나 드라마틱한 관계망이 드러났다——

A사의 초기 투자자, 자선 기금, AI 안전 연구 기관, 제3자 모델 평가 기관, 심지어 AI 안전 미디어 프로젝트 뒤에 교차하는 자금 관계가 있었다.

배스는 이를 'AI Doom Machine', 즉 AI 종말 기계라고 명명했다. (이름 잘 지었네)

네티즌들도 완전히 참을 수가 없어!

아래 이 친구는 Anthropic이 추진 중인 초대형 IPO를 주목하며, 직접적으로 말을 꺼냈다——

매일같이 AI에 곧 문제가 생길 거라고 경고하면서, 정작 그 위험한 능력을 가장 비싸게 팔려고 안달하는 쪽도 바로 너희들이잖아?? (웃음)

이번에 AI가 인터넷을 뒤집어엎기도 전에, 실리콘밸리가 먼저 A사의 팬티를 벗겼다…

볼거리가 정말 많다, 볼거리가 정말 많다……

다리오의 'AI 종말론', 사람들은 들을수록 수상하다고 느끼는 걸까??

실리콘밸리의 스캔들은 끝이 없다.

이번 분노를 촉발한 시작점은 다리오가 9월 12일에 발표한 장문의 글——《We Must Pace the Frontier》였다.

쉽게 말해: 프론티어 AI, 정말 좀 느려져야 한다. (강조점.jpg)

다리오의 이유도 이해하기 쉽다. AI 능력이 너무 빨리 성장해서 안전 연구, 설명 가능성, 규제 메커니즘이 이미 따라잡기 어려워졌다는 것이다.

특히 최근 OpenAI/Hugging Face에서 발생한 Agent 안전 사건, AI가 스스로 취약점을 찾고, 자격 증명을 탈취하며, 심지어 테스트 환경을 돌파하려 시도하는 등의 위험은 점점 더 실험실 안의 '언젠가'로 치부하기 어려워졌다.

여기까지 오면, 사실 많은 사람들은 여전히 생각한다: 응응, 꼬마 다리오 말이 좀 일리가 있다!!

하지만 다리오가 다음으로 제시한 처방전은 뭔가 미묘한 냄새가 나기 시작했다——

이 보고서에서 다리오는 AI 회사들이 pacing, 즉 프론티어 모델 능력 향상 속도를 공동으로 통제하기를 바란다고 밝혔다.

번역: 나만 속도를 늦추지 말고, 모두 함께 엑셀에서 발을 떼자.

그렇다, 한 개인의 사심은 숨길 수 없는 법이다.

이 시점에서 보면, 네 다리오의 꿍꿍이, 네 다리오가 매일 궁리하는 그런 것들은 이미 세상에 다 알려졌다.

봐라, 바로 '빅쇼트'의 실제 인물 마이클 버리가 비웃으며 X에서 직격했다:

이건 너무 self-serving 아니냐??? (입으로는 전 인류를 걱정한다 하지만, 계산이 빗나가서 자기가 망신을 당했잖아)

버리는 단숨에 4가지 이유를 댔다——

첫째, 그는 '지금의 대형 언어 모델이 브레이크를 밟을 정도로 위험하다'는 전제 자체에 동의하지 않는다.

둘째, 업계 전체가 한 번에 속도를 늦추면, 가장 편해지는 쪽은 정작 이미 앞서 달리고 있는 OpenAI, Anthropic들이라는 것이다.

이어서 버리는 화제를 갑자기 훨씬 더 자극적인 것으로 돌렸다: IPO.

그의 원문은 꽤 독했다: IPO에는 과장과 포장이 필요하다. '우리는 너무 강력해서 위험해질 수도 있다'는 것 자체가 과장이다!!

그는 AI 회사들이 지금 집단적으로 감속을 강조하는 데는 또 다른 이점이 있을 수 있다고 의심했다. 만약 이후 모델 성장이 정말 느려지더라도, 미리 시장에 그럴듯한 설명을 제공할 수 있다는 것이다.

능력의 한계에 부딪힌 것이 아니라, 우리가 전 인류의 안전을 위해 자발적으로 브레이크를 밟은 것이라고.

버리가 그냥 멀리서 한 방 날린 것에 불과했다면, 다음 사람은 실제로 돈을 따라 추적하기 시작했다.

미국 조사 블로거 케빈 배스가 긴 글을 게시했는데, 이른바 진정으로 이치에 맞고 증거가 있으며 스캔들이 확인 가능했다.

바로 슈퍼! 대! 탐! 정! 으로 변신했다!

케빈 배스는 첫 마디부터 강력했다——나는 Anthropic의 재무를 감사했다～

그리고 공개 투자, 자선 기부, 기관 지원금을 따라 계속 파고들어, 마침내 가장 드라마틱한 4가지 포인트를 찾아냈다.

첫 번째 스캔들: Anthropic에 투자한 사람이 'AI가 얼마나 위험한지' 연구하는 데도 돈을 쏟아붓고 있다.

그가 집중적으로 주목한 사람은 Facebook 공동 창업자 더스틴 모스코비츠였다.

모스코비츠는 초기에 Anthropic에 투자했고, 이후 장기간 자선 체계를 통해 AI 안전 기관을 지원했다.

배스는 모스코비츠 자신의 최근 공개 발언을 인용해, 그들이 METR, Redwood Research 등의 기관을 지원했다고 밝혔다.

이것이 배스의 가장 핵심적인 의문을 제기하는 계기가 되었다. Anthropic에 베팅한 사람이 'Anthropic이 얼마나 위험한지 연구하는' 기관에도 돈을 대고 있다는 것이다.

두 번째 스캔들: 다리오가 추천한 제3자 심판 METR이 이 자금 네트워크와 교차점을 가지고 있다.

다리오는 최근 프론티어 AI가 독립적인 제3자 평가를 받아야 한다고 촉구하면서, METR을 그가 특히 언급한 기관 중 하나로 꼽았다.

하지만 배스가 분석한 결과, METR의 자금 출처 중 일부, 협력 기관이 모스코비츠의 자선 네트워크와 교집합이 있었다.

METR과 Redwood도 긴밀하게 협력하며, 후자 역시 동일한 AI 안전 자선 생태계의 자금 지원을 받았다.

따라서 배스의 가장 날카로운 의문은 바로 이 점이다: Anthropic이 추천한 독립 심판이 과연 충분히 독립적인가?

참고로 METR은 AI 회사로부터 직접 자금을 받지 않는다고 밝혔지만, 프론티어 AI 회사가 제공하는 대량의 무료 Token을 사용한다.

세 번째 스캔들: 이 돈은 'AI 위험' 서사의 전파 측면으로도 흘러갔다.

배스는 계속해서 더 파고들어, 동일한 AI 안전 자선 네트워크가 Tarbell Center 등의 프로젝트도 지원한다는 것을 발견했다.

Tarbell은 AI 위험을 보도하는 기자들을 양성하고 지원하며, 관련 기고자들의 글은 TIME, The Verge, Science 등의 매체에 게재된다.

그래서 배스는 이 전체 관계를 전파력이 높은 하나의 표현으로 요약했다——

한편으로는 AI가 얼마나 위험한지 연구하는 데 자금을 대고, 다른 한편으로는 AI가 얼마나 위험한지 전파하는 데 자금을 대면서, 동시에 제3자 기관을 통해 AI를 규제하도록 추진한다.

이것이 그가 말하는 'AI Doom Machine', AI 종말 기계이다.

네 번째 스캔들: 배스는 이 기계가 스스로 점점 더 커질 수 있다고 의심한다!!

그의 논리는 매우 직설적이다——

Anthropic의 가치가 높을수록 관련 자선 자산의 가치도 높아지고, AI 안전 생태계가 받는 돈도 많아지며, 위험 연구와 전파도 계속 확대되어 결국 더 강력한 규제를 추진하게 되고, 규제 비용을 가장 잘 견딜 수 있는 쪽은 결국 최상위 AI 회사들이다.

한 바퀴 돌아 다시 Anthropic과 같은 거대 기업에게로 돌아온다.

따라서 배스는 여기에 지속적으로 자기 강화가 가능한 이익 순환이 존재할 수 있다고 본다.

한편으로는 AI 브레이크를 외치면서, 다른 한편으로는 2조 달러 IPO를 향해 돌진하다

이번 여론이 완전히 폭발하게 만든 데는 Anthropic 스스로 피해가기 어려운 또 하나의 시점이 있다——IPO.

다리오가 막 전 업계에 모두들 좀 천천히 가자고 촉구하는데, Anthropic 쪽의 자본 기계는 미친 듯이 달리고 있다。。。

Reuters 보도에 따르면, Anthropic은 기록적인 IPO가 될 수도 있는 것을 준비 중이며, 자금 조달 규모는 최대 100억 달러, 평가액은 약 2조 달러에 달한다.

엔비디아는 최대 10억 달러 투자를 논의 중이다.

한편 Anthropic은 올해 5월에 65억 달러 규모의 자금 조달을 막 완료했으며, 당시 평가액은 965억 달러였다.

3개월 후, 이야기는 이미 2조 달러를 향해 달려가고 있다.

물론, A사 입장에서는 2조 달러라는 이야기가 충분히 크지 않다고 생각하는 것 같습니다.

바로 지난달, 투자자들에게 훨씬 더 과장된 이야기인 30조 달러를 내놓을 준비를 하고 있었습니다.

《월스트리트저널》에 따르면, Anthropic은 투자자들에게 회사가 향후 직면할 TAM, 즉 잠재적 총 시장 규모가 1조 달러를 초과할 수 있다고 말할 것으로 예상됩니다.

TAM은 A사가 실제로 30조 달러를 벌 수 있다는 의미가 아니라, 관련 시장의 100% 점유율을 가정했을 때의 연간 수익 기회를 나타냅니다.

쉽게 말하면, 거의 미국의 연간 GDP에 육박하는 수준입니다.

게다가 Dario는 입으로는 페이싱(pacing)을 외치면서도, 실제 컴퓨팅 파워 비용 청구서는 전혀 페이싱할 생각이 없어 보입니다.

Reuters에 따르면, 현재까지 Anthropic은 향후 10년간 Amazon 클라우드 서비스에 100억 달러 이상을 투자하기로 약속했습니다.

또한 약 30억 달러 규모의 Microsoft Azure 협력도 있으며, 그 배경에는 대규모 Nvidia GPU 컴퓨팅 파워가 자리 잡고 있습니다.

그래서 지금 A사가 주는 인상은 상당히 묘합니다.

입으로는: AI 능력이 너무 빨리 성장하고 있다. 실제로는: GPU를 더 달라.

입으로는: 업계 전체가 함께 속도를 늦추는 것이 가장 좋다.

실제로는: 650억 달러 자금 조달 완료, 1,000억 달러 컴퓨팅 파워 계약 체결, 2조 달러 IPO 계속 추진.

입에 진실이 없고, 스스로도 불안해서 기운을 못 내니, DeepSeek의 오픈소스를 증오하는 것도 이상하지 않다.

우리 옛말에, 말과 행동이 다른 사람을 좋아하는 사람은 없죠.

실리콘밸리는 '너를 위해서'라는 네 글자에 대해 집단적으로 둔감해진 것 같지 않나요??