출처: 数字生命卡兹克

어제, 저는 X에서 조회수가 1억을 넘긴 게시물을 하나 봤습니다.

솔직히 말해서, 저는 X에서 이런 조회수의 게시물을 정말 오랜만에 봤습니다.

게시한 사람은 Jacob Coxon입니다.

방금 Anthropic에서 사직했습니다.

그는 말합니다. 지난 3년 동안, 그는 OpenAI와 Anthropic에서 대규모 모델 사전 학습을 했습니다.

그리고 지금, 그는 그만두었습니다.

이유도 매우 터무니없습니다.

왜냐하면, 그는 OpenAI와 Anthropic이 스스로 개선할 수 있는 초지능을 향해 전력 질주하고 있다고 생각하기 때문입니다.

그리고 모든 사람의 생명을 걸고 도박을 하고 있습니다.

그는 심지어 말합니다. 이런 최첨단 AI를 실제로 만드는 데 참여하는 사람들 중 상당수는 사적으로 정말로 믿는다고:

만약 상황이 결국 통제 불능이 된다면, 인류는 이 10년이 끝나기 전에 멸종할 수도 있다고.

제 첫 반응은 사실:

이 사람 누구야? 또 다른 마케팅 계정 아니야? 였습니다.

그래서 확인해보니, 사람은 실제로 진짜였습니다.

이 사람은 올해 27세, 영국인이며, 수학 전공입니다.

2016년과 2017년에 그는 연속으로 영국 국제 수학 올림피아드 대표팀에 들어갔고, 이후 케임브리지 대학교 트리니티 칼리지에서 수학을 공부했습니다.

2021년, 그는 eLife에 발표된 의학 통계 논문에 참여하여 베이지안 방법으로 결핵성 뇌수막염 환자의 유전자형과 생존율 간의 관계를 연구했습니다.

2023년경, OpenAI에 합류했으며, GPT-4o의 공식 기여자 목록에 Jacob Coxon이 있습니다.

GPT-4.5에 이르러서는 OpenAI가 그를 핵심 기여자로 직접 지정했습니다.

그리고 올해입니다.

그는 OpenAI에서 Anthropic으로 옮겼으며, 여전히 가장 핵심적인 사전 학습 작업을 수행했습니다.

하지만 오래 가지 못했습니다. 상황이 더 이상 안 된다고 느꼈고, 자신의 의지를 거스를 수 없어서 일을 그만두고 X에 이러한 경고를 게시했습니다.

심지어 《월스트리트 저널》은 그가 앞으로 AI 업계를 아예 떠나고 싶어하며, 다시는 하지 않을 것이라고 보도했습니다.

그리고 이 게시물이 올라온 후, Anthropic의 정렬 책임자가 직접 나서서 Jacob을 지지했습니다.

그는 말합니다. 젊은이가 옳으며, 10년 내에 발생할 확률은 10% 이상이라고.

또 다른 Anthropic 내에서 안전 연구를 하는 사람도 "개인 신분"으로 Jacob을 지지하기 위해 나섰습니다.

그리고 그의 관찰에 따르면:

AI 회사 내에서 직위가 높을수록, 오히려 이 문제를 더 걱정하는 경향이 있습니다.

심지어 방금 Anthropic을 떠나고 이전에 확장 가능한 감독을 담당했던 Joe Benton도 Jacob이 업계 현황 전체를 설명한 것이 실제로 정확하다고 말했습니다.

물론, 이것들은 여전히 그들의 미래 위험에 대한 판단일 뿐입니다.

아무도 10%가 정확한지 알 수 없습니다.

하지만 그들이 올린 내용과 많은 댓글들을 읽고 나서, 갑자기 일종의 부조리함을 느꼈습니다.

이 부조리함은 제가 11년 전에 읽었던 한 기사에서 비롯되었습니다.

그리고 오늘날까지도 매우 매우 인상 깊게 남아 있으며, 심지어 이 기사는 최근 몇 년간 매년 다시 읽곤 하는데, 읽을 때마다 새롭습니다.

바로 2015년 1월 Tim Urban이 쓴, 정신 나간 듯한 긴 글입니다:

《The AI Revolution》, 번역하면 《인공지능 혁명》입니다.

그것은 상하 두 장으로 나뉘는데, 제1장 제목은:

초지능으로 가는 길.

제2장 제목은:

우리의 영생, 혹은 멸종.

저는 아직도 기억합니다. 2015년에 학생으로서 중국 Q&A 플랫폼 지후(Zhihu)에서 이 두 장의 장문 번역본을 다 읽고 나서, 제 어린 마음과 얕은 인식에 엄청난 충격을 주었던 것을.

정말 오랫동안 큰 충격을 받았습니다.

왜냐하면 그 글의 마지막에는 매우 단순하고, 매우 직설적이며, 매우 거대한 판단이 제시되었기 때문입니다:

만약 인류가 결국 자신을 훨씬 뛰어넘는 초지능을 실제로 만들어낸다면.

그것은 인류 문명을 오직 두 방향으로만 세차게 밀어붙일 것입니다:

한쪽은 멸종.

다른 쪽은 영생.

다른 해결책은 없습니다.

그리고 어제, Jacob이 그 게시물을 올린 후, 저는 다시 그 글을 꺼내 읽어보았습니다.

갑자기 생각이 들었습니다.

우리는 정말로 그 글의 시간 연장선 위에 서 있는 것 같다고.

심지어 모든 것이 정해져 있다는 느낌마저 듭니다.

Tim Urban은 당시 먼저 특히 고전적인 것을 이야기했습니다.

바로 인류라는 종은 지수 함수적 성장을 진정으로 이해하기 어렵다는 것입니다.

왜냐하면 우리의 뇌는 본능적으로 선형 추론을 좋아하기 때문입니다.

오늘은 어제보다 조금 더 많다.

내일은 아마 오늘보다 조금 더 많을 것이다.

하지만 문명의 발전은 종종 전혀 이런 식이 아니며, 이것이 바로 많은 경우 문명의 그림입니다.

그 전환점에 서 있는 것은 매우 자극적으로 보일 수 있습니다.

하지만 알아야 할 것은, 시간 그래프 위에 서 있는 사람은 사실 오른쪽에 무엇이 있는지 전혀 볼 수 없다는 것입니다.

그래서 이것이 바로 여기에 서 있는 실제 느낌입니다:

참으로 잔혹한 현실입니다.

Tim Urban은 또한 특히 흥미로운 예를 들었습니다.

만약 당신이 1750년으로 시간 여행을 가서, 아무 사람이나 잡아 2015년으로 데려온다고 가정해 봅시다.

그에게 비행기, 고속도로, 스마트폰, 인터넷, 위성, 핵무기, 우주 정거장 같은 첨단 기술 물건들을 보여줍니다.

이 사람은 자신이 직접 신선의 세계에 온 것처럼 느껴서, 바로 겁에 질릴 것입니다.

그런데 만약 1750년의 이 사람도 같은 265년을 거슬러 시간 여행을 한다면.

1485년에서 사람을 잡아온다면.

그때 1485년의 그 사람은 충격이 훨씬 작을 것입니다.

더 거슬러 올라가면, 같은 문명의 격차를 얻기 위해 아마 수만 년을 넘어야 할 수도 있습니다.

Tim Urban은 이런 고대인의 머리를 멈추게 할 만한 문명의 진보에 아주 재미있는 이름을 붙였습니다:

DPU.

Die Progress Unit(고인을 충격사시키는 진보 단위).

대략적인 의미는 "고대인을 충분히 충격사 시킬 만한 과학 기술 발전의 단위"입니다.

예전에는 한 단위를 쌓는 데 1만 년이 걸렸을 수도 있습니다.

나중에는 수백 년만 필요했습니다.

더 나중에는 수십 년, 그리고 점점 더 빨라졌습니다.

2015년에 처음 봤을 때는 느낌이 깊지 않았습니다.

2025년인 오늘 다시 보니.

음...

우리 세대는 이미 이걸 직접 경험하기 시작한 것 같습니다.

2022년, ChatGPT가 나오면서 사람들은 AI가 사람처럼 대화할 수 있다는 것을 알게 되었습니다.

2023년, GPT-4가 나오면서 우리는 이것을 멀티모달 대규모 언어 모델이라고 부른다는 것을 알게 되었습니다.

그리고 o1로 대표되는 추론 모델.

Claude Code.

Codex.

Agent.

하나씩.

연이어서.

지난주에는 GPT-6가 이미 사람처럼 컴퓨터를 조작하여, 직접 Blender, Houdini, Unity, Excel을 열고, 낯선 소프트웨어에서 버튼을 찾고 시행착오를 겪으며 몇 시간 동안 계속 작업할 수 있게 되었습니다.

학계 쪽은 말할 것도 없습니다.

5월에는 OpenAI 모델 하나가 80년 동안 연구된 에르되스(Erdős)의 이산 기하학 추측을 직접 뒤집었습니다.

9월 4일, Anthropic은 Claude를 사용해 11일 만에 페르마의 마지막 정리를 1300만 행, 컴퓨터가 한 줄씩 검사할 수 있는 형식화된 증명으로 만들었는데, 이 작업은 인간이 원래 10년은 걸릴 것으로 추정했습니다.

또한 최근 논란이 많은, OpenAI가 88시간 만에 해결한 밀레니엄 문제도 있습니다.

이 세상은 점점 더 공상 과학 소설 같아지고 있습니다.

물론, 가장 핵심은 또 다른 것이며, Jacob이 가장 걱정하는 바로 그것입니다: "스스로 개선하는 초지능".

2015년.

Tim Urban이 묻습니다:

만약 AI가 언젠가 인간이 더 강력한 AI를 연구하는 것을 돕기 시작하면 어떻게 될까?

2026년 2월.

OpenAI는 GPT-5.3를 발표하면서 말했습니다:

이것은 스스로를 만드는 과정에서 핵심적인 역할을 한 첫 번째 모델이라고.

이제 거의 조금 강력한 모델이라면 훈련 단계에서 AI의 참여가 있습니다.

이 느낌은 정말 매우 묘합니다.

마치 11년 전에 누군가 안개 속에서 빛으로 점선을 쏘아낸 것 같습니다.

당시에는 아무도 그 선이 어디로 이어질지 몰랐습니다.

11년 후, 우리가 고개를 숙여 보니.

우리 자신이, 정말로 그 위를 걷고 있었습니다.

그 글 뒤에는 제가 오늘날까지 기억하는 것이 하나 더 있습니다.

지능의 사다리.

Tim Urban이 말했다.

인간은 특히나 슈퍼 인공지능을 과소평가하기 쉽다.

왜냐하면 우리는 '더 똑똑하다'는 것을 보통 이런 식으로 이해하기 때문이다:

보통 사람, 똑똑한 사람, 천재, 아인슈타인, 슈퍼 AI 등의 차이.

마치 모두가 아주 좁은 범위 안에 있는 것처럼.

하지만 다른 기준점을 가져와 보자.

상황이 갑자기 아주 무서워진다.

예를 들어, 침팬지와 인간.

전체 생물 지능의 척도에서 보면, 침팬지와 인간은 사실 아주 조금밖에 차이가 나지 않는다.

그런데 이 아주 조금의 차이로.

한쪽은 그저 막대기로 흰개미 집을 찌르거나 나무에 몸을 비비는 정도다.

하지만 다른 쪽은 미적분학, 양자역학, 인터넷 등을 발명했고, 심지어 지구 밖으로 날아가기까지 했다.

그러니 인간 위에, 우리보다 한두 단계 높은 인지 단계를 가진 무언가가 있다면, 아마 이미 이해하기 어려울 것이다.

그런데 만약 더 위로 올라간다면?

Tim Urban이 그때 썼다.

충분히 고차원적인 슈퍼 인공지능이 우리를 바라보는 것은.

아마 우리가 개미를 바라보는 것과 같을 것이다.

심지어 그것이 우리에게 가장 간단한 개념 하나를 설명하려 해도, 우리는 그 개념을 이해하는 데 필요한 인지 구조조차 갖추지 못했을 수도 있다.

이것이 바로 그 글이 결국 반드시 이 지점에 도달한 이유이기도 하다:

Intelligence Explosion(지능 폭발).

만약 언젠가 AI가 정말 최고 수준의 AI 연구원 수준에 도달한다면, 그것이 할 수 있는 가장 가치 있는 작업 중 하나는.

아주 자연스럽게:

계속해서 AI를 연구하고, 인간이 다음 세대 모델을 더 똑똑하게 만드는 것을 돕는 것이다.

다음 세대가 더 똑똑해지면, 또 다음 세대를 연구하는 데 더 능숙해진다.

그리하여.

지능은 강해지고.

더 강한 지능을 만드는 능력도 함께 강해진다.

그리하여 하나의 선순환을 형성한다.

이것은 2015년에 보기에는.

정말 공상과학처럼 보였다.

하지만 2026년의 나는 더 이상 10년 전처럼 그것을 순수하게 공상과학으로만 볼 수 없다.

왜냐하면 각 모델 제조사들 내에서, 가장 원시적인 피드백 루프가 이미 형성되었기 때문이다.

물론, 오늘날 진정한 의미의 재귀적 자기 개선과는 아직 거리가 멀다.

GPT-6가 스스로 GPT-7을 만들고, GPT-7이 밤중에 깨어나 스스로 GPT-8을 훈련시키지는 않을 것이다.

하지만 그 논리 사슬의 가장 초기 몇 고리는 이미 볼 수 있게 되었다.

그래서 나는 아주 이상한 운명감을 느끼게 된다.

마치 인간이 정말로 '지능'이라는 씨앗을 심기만 하면, 그 후의 일들은 자연스럽게 거대한 관성을 가지게 되는 것처럼.

더 똑똑한 AI는 더 큰 경제적 가치를 창출할 수 있다.

더 큰 경제적 가치는 더 많은 자본을 끌어들인다.

더 많은 자본은 더 많은 GPU를 구매한다.

더 많은 GPU는 더 강력한 AI를 훈련시킨다.

더 강력한 AI는 다시 인간이 더 강력한 AI를 만드는 것을 돕기 시작한다.

기업들 간에는 여전히 경쟁이 있다.

국가들 간에도 여전히 경쟁이 있다.

네가 하지 않으면, 다른 사람이 한다.

네가 나아가지 않으면, 어쩔 수 없지, 다른 사람이 나아가는데, 너는 달리지 않겠느냐.

결국 전체 문명은 점점 더 가팔라지는 강과 같아진다.

모든 사람은 물살이 점점 빨라지고 있다는 것을 안다.

하지만 어떤 개인이나 집단도 진정으로 전 세계의 방향타를 쥘 수는 없다.

그리고 Tim Urban의 그 글이 내가 11년 동안 기억하게 만든 진짜 이유는.

바로 그 물살의 끝자락에 있는 장면이다.

그는 Nick Bostrom의 개념을 인용했다.

지구 역사상 무수한 종이 존재했고, 그리고 거의 모두 사라졌다고.

멸종은 일종의 끌개 상태인 것 같다. 일단 거기에 빠지면, 다시는 돌아올 수 없다.

하지만 슈퍼 인공지능은 아마 처음으로 생명체에게 또 다른 끌개를 열어줄지도 모른다.

Species Immortality(종의 영생).

Tim Urban은 하나의 평균대를 그렸다.

인간은 항상 그 위를 걸어왔다. 계속 걷기만 하면, 반드시 언젠가는.

소행성, 전염병, 전쟁, 우리가 만든 어떤 기술 등이.

우리를 이 평균대에서 떨어뜨릴 수도 있다.

그리고 슈퍼 인공지능이 등장한 후에는.

우리는 아마 가장 강력한 충돌을 겪게 될 것이다.

한쪽은, 모든 종이 결국 알게 되는 종착점.

멸종.

반대쪽은.

지구 생명체가 한 번도 도달한 적 없는 곳.

영생.

이것이 2015년 그 글이 지금까지도 가장 매력적이라고 생각하는 점이다.

그것은 인공지능에 관한 모든 문제를 거의 문명의 척도로 압축했다.

우리는 오늘날 매일같이 논의한다.

AI가 프로그래머 일자리를 빼앗을까.

디자이너는 어쩌지.

저 회사가 이길 수도 있고 등등.

하지만 시간을 충분히 길게 늘여 놓고 보면, AI라는 인류의 가장 큰 도박이 과연 우리 종이 처음으로 생명체가 죽음이라는 궁극의 규칙에서 벗어나게 할 수 있을까.

하지만 만약 도박에 진다면, 단 하나의 결말만 있을 뿐이다.

멸종, 심지어는 가속화된 멸종.

그러니 이것을 보면, 아마 이해할 수 있을 것이다. 왜 서두에서 Jacob Coxon이 AI를 이렇게 오래 연구한 끝에 사직하고, X에 이런 게시물을 올렸는지.

물론, 나는 또한 이해할 수 있다.

왜 그렇게 많은 사람들이 분명히 걱정하면서도 여전히 실험실에 남아 계속 연구하기로 선택하는지.

왜냐하면 이것의 다른 면은 정말 너무 매혹적이기 때문이다.

AI는 오늘날 이미 수학적 발견에 참여하기 시작했다.

신약 개발에 들어가기 시작했고, 인간 게놈을 분석하기 시작했으며, 신소재를 맹렬히 연구하기 시작했고, 실험과 소프트웨어를 조작하기 시작했으며, 인간 세계의 모든 것을 가속화하기 시작했다.

만약 이 곡선이 계속해서 나아간다면.

앞으로 3년, 5년을 더 준다면.

무슨 일이 일어날까?

나는 모른다.

아마 아무도 모를 것이다.

하지만 나는 가끔 생각한다. 인간이 AI를 만드는 이 일은.

이미 어느덧 평범한 기술 제품의 범주를 넘어서고 있다고.

그것은 한 종이 처음으로 자신보다 더 똑똑한 무언가를 만들려고 시도하는 것과 매우 닮았다.

이것이 인류 문명의 가장 위대한 발걸음일까.

아니면 우리가 항아리에서 뽑아낸 인류의 마지막 검은 공일까.

나는 모른다.

나는 그저 이 시대 속, 한 조각 물결 따라 흘러가는 작은 배일 뿐이다.

나는 매일 AI를 사용하고, AI가 주는 편리함을 느끼며, AI가 정말 재미있다고 생각한다.

그리고 가끔, 어제처럼, 11년 전의 글을 다시 펼쳐볼 때.

비로소 매일의 사소한 Benchmark, Token, Agent 속에서 고개를 들어.

이 강이 도대체 어디로 흐르는지 한 번 바라본다.

이 질문은 너무 크다.

하지만 만약 내가 선택해야 한다면.

나는 당연히 Tim Urban의 그 평균대가.

마침내 우리를 반대편으로 떨어뜨리길 바란다.

나는 암이 정말로 사라지는 날이 오길 바란다.

노화가 치료 가능한 질병이 되길 바란다.

내가 사랑하는 사람들이 떠나지 않길 바란다.

인간이 천수를 누릴 수 있길 바란다.

우리가 태양계를 벗어나 저 머나먼 센타우루스자리 항성계로 향하길 바란다.

언젠가는.

오늘날 AI가 인류를 멸망시킬 것이라는 글들이.

모두 역사 속의 기우가 되길 바란다.

만약 마침내.

AI가 정말로 인간이 수백만 년 동안 어떤 종도 넘지 못했던 그 평균대를 건너도록 도와.

생명체가 처음으로 질병, 노화, 무작위 재앙, 죽음의 속박에서 벗어나게 한다면.

그것은 분명 인류 역사 전체에서.

가장 위대한 일이 될 것이다.

그 어떤 것보다도 위대한.

EU 사이버보안 기관 ENISA, GPT-6-ASTRA 접근 권한 획득

인기 기사