가까운 미래에 관한 46가지 생각: AI, 로봇과 문명의 급변

저자: bayes

편집: Felix, PANews

AI 알고리즘의 지수적 도약, 지능형 공급망의 상품화, 로봇의 폭발적 성장을 중심으로, 이 글은 가까운 미래에 관한 46가지 핵심 인사이트를 체계적으로 정리한다.

지능

사람들은 알고리즘의 진보에 허를 찔릴 것이다. 시장, 정부, 군대, 기업, 개인을 포함한 전 세계가 최근 과거의 생산성과 법칙, 그리고 일이 진행되는 추세를 통해 AI와 그 영향을 이해하려 한다. ‘RSI(재귀적 자기 개선)’를 강하게 믿는다고 자처하는 몇몇 혁신 연구소조차 에이전트(Agent)만 더해진, 지금까지와 다름없는 비즈니스 모델이리라 생각하는 듯하다. 개인적인 추측으로는, 지능 생산 측면에서 알고리즘은 아직 여러 자릿수(OOMs)의 개선 여지가 있으며, 어쩌면(단지 어쩌면) 10자릿수(10 orders of magnitude)까지도 가능하겠지만, 4~7자릿수가 더 현실적으로 보인다. 이론적으로는 10자릿수(10 orders of magnitude) 이상도 가능하다. 이것이 사실이라면, 상황은 겉으로 보이는 대로 흘러가지 않고 있으며 거대한 도약이 다가오고 있다는 뜻이다. 이 경로에서 일어나는 일들은 거의 누구도 예상하지 못한 기묘한 방향으로 흘러갈 것이다.
우리는 이륙의 초기 단계에 있다. AI가 AI를 개선하는 것은 결국 역사상 가장 영향력 있는 이정표 중 하나가 될 수 있다. 우리가 지능의 물리적·계산적 한계까지 얼마나 남았는지 모르기 때문에 이는 아직 확실하지 않다.
오늘날 우리는 이륙 단계에 있으며, 알고리즘 연구는 가속화되고 있다. 컴퓨팅 자원은 여전히 희소하지만, 어떤 작업이나 무익해 보이는 탐색에도 에이전트를 보낼 수 있기 때문에 연구자의 시간 기회비용은 낮아졌다. 그 시도가 성과를 낼 수도 있다. 모든 새로운 아이디어에는 최적화 부채가 붙어 있으며, 이제는 비지도 토큰 소비를 통해 이를 갚을 수 있다. 수많은 연구 스케일링 법칙 곡선을 뛰어넘게 될 것이다.
AI 모델, 특히 프런티어 모델은 계속 개선될 것이다. 유일한 진짜 장벽은 물리학이다. 모델은 점점 더 자율적이고, 더 똑똑해지며, 매 순간 진화하고 있다. 수학과 코드는 ‘규모 + 강화 학습’으로 정복되고 있으며, 다음은 그 외 모든 영역이다. ‘검증 가능한’과 ‘검증 불가능한’ 사이의 의미 있는 구분은 희미해질 것이다. 시간이 지날수록 자동화된 AI 연구와 AI 학습은 점점 더 밀접하게 연관되어 보일 것이다. 훈련 방식과 모델의 전체 학습 효과는 깊은 관련이 있다. 샘플 효율성, 창의성, 그리고 다른 모든 한계가 해결된 후 어떤 규모에서든 알고리즘 최적에 근접하기 시작할 것이다.
긴 시간 축의 에이전트가 항상 동일한 길이의 훈련을 필요로 한다는 생각은 틀렸다. 시간에 관한 일반화가 존재하기 때문이다. 긴 과업은 단순히 시간 길이만으로 구성되지 않는다. 이는 LeCun의 (1-e)^n 오류 누적 오류와 관련이 있다. 실제로 일어나는 것은 오류 수정이다. 이것은 단일 토큰 생성 수준에서부터 긴 과업 단계에 이르기까지 여러 규모에서 발생한다. METR 차트가 상승하는 이유 중 하나는 에이전트가 오류 수정의 탈출 속도에 도달하기 시작했기 때문이다.
딥러닝의 공학 수준 과학이 다가오고 있다. 이는 AI 알고리즘의 성숙을 우리가 예상하는 것보다 훨씬 앞당길 것이다. 다만 위에서 언급했듯이, 이론적으로조차 그 성숙도가 어느 정도일지는 여전히 불분명하다. 예를 들어, 규모 불변성 과학은 단일 GPU에서 수행된 실험이 10만 개의 GPU를 어떻게 사용할지 알려줄 수 있기 때문에 효과적인 실험의 규모와 성과를 극적으로 끌어올릴 수 있다.
인간의 기술 활동 모든 영역에서 ‘Move 37’과 같은 돌파구적 순간이 나타나겠지만, 이내 그런 순간들은 하찮게 여겨질 것이다. 모든 영역이 그렇게 될 것이다.
컴퓨팅 성능은 계속 향상될 것이다. 오늘날 최고의 행렬 곱셈 기계조차 AI 가속기의 물리적 한계에 크게 못 미친다. 디지털 실리콘에는 개선의 여지가 훨씬 더 많다. 새로운 기판 후보도 많으며, 이들이 지고 있는 알고리즘 부채는 자동화에 의해 극한까지 밀려날 것이다. 다만 공간/에너지/시간/제조 가능성/비용 측면에서 어느 것이 AI의 최적 해법일지는 아직 모른다. 포토닉스와 랜덤 실리콘은 모두 흥미로운 후보이지만, 특이점은 예상치 못한 방향에서 찾아올 것으로 예상한다.
연구소가 어느 정도까지 진전할 수 있는지는 부분적으로 자동화와 규모를 통해 얻는 수익에 달려 있고, 여기에는 알고리즘 깊이 향상으로 인한 수익도 포함된다. 딥러닝의 실무(와 이론)가 영원히 얕은 수준에 머문다면, 비밀을 발견하는 비용이 상대적으로 낮아지므로 장기적으로 해자는 더 이상 알고리즘에 있지 않게 될 것이다. 결국 증류 + 데이터 + 시간이 컴퓨팅 규모를 따라잡을 수 있지만, 그 과정은 매우 더딜 수 있다. 지금까지는 이것이 우리 상황을 어느 정도 설명해주는 듯 보이지만, 그렇다고 해서 이 상태가 계속되리라는 보장은 없다.
규모가 커짐에 따라 사물이 덜 얕아지면, 자동화와 규모가 매번 진전될 때마다 다른 이들이 따라잡기 점점 더 어려운 알고리즘 비밀이 여러분에게 쌓이게 된다. 이 또한 현재 부분적으로 해당되는 상황인 듯하다. 어느 쪽이든 결국 연구가 포화되고 규모에 대한 한계 효용이 체감하는 단계에 도달할 것이다. 그 단계가 언제일지는 알 수 없다. 오늘날 위치에서 불과 2 OOM 떨어져 있을 수도, 20 OOM 떨어져 있을 수도 있다. 아무도 모른다.

지능형 공급망

컴퓨팅은 적어도 앞으로 몇 년 동안 경쟁이 극심한 자원이겠지만, 그 과정에서 상품화가 시작될 것이다. 규모는 계속 커지고 작동하며, 자본이 따라붙어 지능 산업이 지속 성장하도록 만든다. 더 많은 행렬 곱셈 기계, 더 많은 웨이퍼 공장, 더 많은 에너지가 다가오고 있다. 잠재적인 경제적 장벽이 있더라도, 지능 생산의 병목은 일시적일 뿐이다.
지능형 공급망의 성격이 변하고 있다. 현재는 연구소에 고도로 집중되어 있다. 그러나 연구소는 핵심 강점인 연구자와 알고리즘 우위의 발견을 자동화하고 있다. 이렇게 되기 시작하면, 오픈 소스 소프트웨어가 그 뒤를 바짝 쫓는다고 가정할 때, 특히 연구소가 AI 연구자를 독점하지 않는 모델일 경우, 연구소의 강점은 접근성 높은 자본, 더 많은 컴퓨팅 자원, 특수 데이터, 비즈니스 관계, 그리고 우수한 제품에서 나오게 될 것이다. 물론 이는 위에서 언급한 알고리즘 깊이 문제가 궁극적으로 어떻게 해결되느냐를 비롯한 여러 요인에 달려 있다.
분산 훈련은 단일 데이터 센터 건설의 필요성을 줄여주고 비-하이퍼스케일 데이터 센터에게 일부 이점을 제공할 것이다. 하지만 단일 실행 최대 규모 측면에서는 여전히 하이퍼스케일을 넘어서지 못할 것이다.
자동화된 AI 실험은 알고리즘의 비밀을 널리 발견할 수 있게 해줄 것인데, 이는 그러한 비밀이 대규모 훈련 실행보다 자연스럽게 더 쉽게 확산되기 때문이다. 이 추세가 어디까지 진전될지는 불분명하지만, 상당히 잘 진행될 것으로 예상한다. 위에서 말했듯이, 이 상한선은 딥러닝의 근본 깊이가 얼마나 되는지에 달려 있다.
이런 요소들이 유리해 보임에도 불구하고, 컴퓨팅 비용과 기회비용 때문에 학계와 오픈 소스 커뮤니티는 정체될 가능성이 있다. 예를 들어, GB300 컴퓨팅 서버를 GLM5.2에 쓰는 것이 더 가치 있을까, 아니면 Fable에 쓰는 것이 더 가치 있을까? 학술 연구실에서 비-프런티어 연구를 하는 것보다 Anthropic 안에서 Mythos 2를 구축하는 것이 더 가치 있을까? 시장은 결국 수요가 가장 큰 곳을 찾아낼 것이며, 당장은 연구소의 수요가 가장 왕성해 보인다. 이는 오픈 소스 연구소가 자금을 갖고 있더라도 컴퓨팅 자원을 미리 확보하지 못했다면, 여전히 더 큰 컴퓨팅 부족에 직면할 수 있음을 의미한다. 그렇더라도 연구 기회비용을 임대 컴퓨팅 비용과 저울질해야 한다.
AI 역량이 점점 더 강력해지는 환경(향후 0~18개월)에서 오픈 소스는 사회적 차원에서도 어려움을 겪을 수 있으며, 특히 안전 발전 가속화가 더딜 경우(현재 실제로 더디게 진행 중) 더욱 그러하다.
자본이 연구소로 몰리면서 오픈 소스는 위축되기 시작할 수 있다. 여기에는 조정 문제가 있는데, 연구소(그리고 아마도 정부) 외에는 아무도 독점을 원하지 않지만, 이 문제가 해결되고 규제 환경이 우호적이라면 상황이 나아질 수도 있다.

로봇 공학

로봇 공학은 ChatGPT와 같은 대대적인 돌파구와 Opus 4.5와 같은 돌파구를 맞이할 것이다. 아직 두 돌파구 모두 일어나지 않았지만 결국 오며, AI 가속을 통한 물리 시스템 공학 등 AI의 빠른 발전 덕분에 사람들이 예상하는 것보다 훨씬 빠르게 다가올 것이다. 이 두 로봇 공학 돌파구 사이의 시간 간격은 3년을 넘지 않을 가능성이 높다.
하지만 로봇이 전 세계적으로 본격적인 규모를 갖추려면 2030년, 혹은 그 이후가 될 수 있다. 우리는 연간 약 1억 대의 자동차를 생산하는데, 휴머노이드 로봇은 자동차보다 훨씬 작다. 연간 10억 대의 스마트폰이 생산된다는 점을 고려하면, 자본과 알고리즘이 빠르게 발전한다면 2030년까지 연간 약 1억 대의 로봇을 생산하는 것이 합리적으로 보인다. 연간 1000만 대는 분명히 가능한데, 드론 시장에서 이미 이 수준을 달성했기 때문이다. 뛰어난 소프트웨어는 소규모 휴머노이드 로봇의 가치를 입증할 수 있으며, 그럴 경우 무한한 자본이 유입된다. 그 자본 규모는 입증의 질에 비례한다.
현재 로봇 발전의 경직된 한계로 보이는 것들, 예를 들어 낮은 샘플 효율성, 상대적으로 희소한 데이터, 비싸거나 복잡한 핸드 및 모터 하드웨어 설계, 물리적 세계의 복잡한 프랙털 특성, 일상생활에서 기록되지 않은 작업 수행 지식(예: 배관 설치) 따위는 사라질 것이다. 세계 모델은 유용해 보이지만, 그것이 구체적으로 무엇이든 상관없다. 연구의 스케일링 법칙(Scaling law)은 그 유용성이 떨어질 때까지 계속 밀어붙여질 것이다.
전 세계적으로 로봇 수요는 수백억 대에 이르며, 특히 다양한 폼팩터를 고려하면 더욱 그러하다. 자동화할 가치가 있는 육체 노동이 너무나 많다. 시장은 이 문제를 해결하려 애쓸 것이고, 사람들은 아마 이 과정을 막지 못할 것이다.

진보

과학은 자동화와 가상화를 실현하고 있다. 이는 세상이 필요로 하는 대부분의 진보가 자동화된 실험실과 시뮬레이션에서 나올 것임을 의미한다. 현재 가상화의 컴퓨팅 한계를 완전히 이해하지는 못했지만, 로봇이 주도하는 생물학, 재료과학 등의 실험실은 많은 병목 현상을 제거하고, 그 과정에서 검증된 가상화의 한계를 지속적으로 돌파하여 샘플 효율성과 물리적 구현에서 오는 순 이익을 높일 것이다. 기본적으로 모든 분야에서 신경망 모델, 명시적 시뮬레이션, 실제 실험을 결합하여 생물학, 재료과학 등의 단위 시간과 단위 투입 대비 산출 비율을 함께 향상시킬 것이다.

2.진보의 법칙은 어디에나 존재한다. 딥러닝에서는 이를 스케일링 법칙이라고 부른다. 특정 곡선의 S 곡선이 언제 포화 상태에 도달할지, 그리고 새로운 S 곡선이 언제 출현할지 예측하기는 어렵다. 여기서 이해해야 할 점은, 문명 진보의 엔진 자체가 하나의 진보 법칙을 따른다는 사실이다. 우리의 진보는 우리가 관찰하는 대부분의 자연 과정처럼 결국 포화 상태에 도달할 가능성이 높지만, 실제로 그런 상황이 언제 발생할지는 알 수 없다. 기술과 문명의 성숙기는 바로 코앞일 수도 있고, 까마득히 멀리 있을 수도 있다. 우리는 바로 그런 역사적 단계에 와 있다. (a) 우리는 진보를 추동하는 데 자원을 거의 투입하지 않았지만, 이 상황은 빠르게 변화하고 있으며 (b) 우리는 더 많은 개선을 직접 산출하는 기계를 자동화하고 있다. 우리는 흥미로운 시대에 살고 있다.

3.미래 발전 방향: 업스케일링인가 아웃스케일링인가? 제로에서 원으로인가, 원에서 n으로인가? 우주가 과연 인간에게 광범위함과 깊이 면에서 얼마나 큰 진보를 허용할지는 아직 풀리지 않은 질문이다. 광범위함은 “지금부터 물리 법칙이 허용하는 계산 단계는 얼마나 되는가?”와 비슷하기 때문에 추산하기가 더 쉽다. 반면 계산의 ‘깊이’(넓은 의미의 깊이)는 아직 알려지지 않았다. 어떤 미래 버전에서는 기술 나무가 너무나 깊고, 도달할 수 있는 계산 우주가 너무나 풍요로워서, 물리 법칙이 멈추게 할 때까지(만약 정말로 멈추게 한다면) 우리는 끊임없이 발명하고, 발견하고, 다시 발명할 것이다. 또 다른 버전은 훨씬 평탄하다. 우리는 곧 얕은 기술 나무의 한계에 도달하고 비교적 쉽게 기술적 성숙을 이룬 다음, 마찬가지로 만족감을 느끼거나 물리 법칙이 멈출 때까지 바깥으로 확장해 나갈 것이다.

자본과 생산

1.더 많은 자본과 더 높은 지능은 더욱 급진적인 자본주의를 의미하며, 이는 시장 균형에 더 빨리 도달한다는 뜻이다. 시간이 지남에 따라 이는 자연스럽게 디플레이션을 초래하고, AI, 식품, 주택, 의약품, 전자제품, 엔터테인먼트, 여행 등 대부분의 중요 상품 경쟁을 한계 비용 수준으로 수렴시킨다. 물론, 이 과정을 방해하지 않는다는 전제하에 말이다. 하지만 어떤 경우에는 그들이 방해할 가능성이 매우 높다.

2.광업은 자동화될 것이다. 육로, 해상, 항공 운송 모두 자동화될 것이다. 공장은 자동화될 것이다. 공장 노동자는 자동화될 것이다. 물류 센터는 자동화될 것이다. 전체 공급망의 유지보수, 개선 및 규모 확대가 모두 자동화될 것이다.

3.인간은 장기간 직업을 가질 것이다. 그때 전체 인구에서 인간이 차지하는 비율이 얼마나 될지는 아직 결론이 나지 않았다. 그 비율이 높을 것이라고 주장하는 사람들은 지나치게 자신만만하며, 0이 될 것이라고 주장하는 사람들 역시 마찬가지다. 인간이 지식 기반 작업의 지식 부분에 얼마나 더 기여할 수 있을지 상상하기 어렵다. 월 20달러면 초인적인 AI 의사와 주문형 검진, 그리고 훨씬 더 진보된 의료 기술을 통해 현저히 개선된 건강 상태를 누릴 수 있다면, 의사와 같은 특정 서비스에 대한 수요는 급감할 수 있다. 하지만 현재 의사에 대한 독점이 존재하기 때문에, 이러한 독점이 지속되어 의사가 여전히 괜찮은 직업으로 남을 수 있다. 엔터테인먼트에 대한 수요는 증가할 수 있지만 제작 비용은 하락하며, 엔터테인먼트 산업의 인적 기술 수요는 이미 크게 감소했다. 그럼에도 불구하고 우리는 타인을 매우 신경 쓰기에, 아마도 계속해서 그들에게 관심을 가질 것이고 배우라는 직업도 더 수익성이 높아질 수 있다. 이러한 추세를 생각하는 한 가지 방법은, 오늘날의 노동자에서 소비자에 이르기까지 공급망에 몇 개의 중간 단계가 있는지 살펴보는 것이다. 틱톡 인플루언서에게 중간 단계는 0이다. 의사에게도 중간 단계는 0이다. 그러나 공장 노동자에게는 중간 단계가 많다. 어떤 직업이 (a) 탈중개화될 수 있는지, (b) 경쟁에서 도태될 수 있는지, (c) 대체 가능성을 지니는지가 그 최종 결과를 크게 좌우할 가능성이 높다. 이 분석은 상당히 정교해 이 글로 상세히 설명하기는 어렵지만, 마지막으로 지적할 점은 우리가 수요 측면의 급격한 붕괴에 직면하지 않을 것이라는 가정이다. 만약 너무 많은 사람이 실직하고 생산성/정부 효율성이 기본소득/주거보장을 지탱하기에 충분하지 않다면 수요 측면의 붕괴가 발생할 수 있다.

4.위 관점과 관련은 있지만 모순되지는 않는 점: “영구적 하위 계급”은 실제로 존재할 수 있다. 더 나은 세상에서, 만약 그런 상황이 실제로 존재한다면, 이는 소득이 심각하게 제한되기보다는 자율성이 크게 제한되는 형태로 나타날 수 있다. 대부분의 사람들에게 이것이 결국 큰 영향을 미치지는 않을 것이다. 현대 사회에서 우리의 자율성은 이미 크게 제한되어 있기 때문이다. 하지만 이는 심리적 적응을 필요로 하며, 그 적응에는 시간이 걸리고 고통을 수반할 수 있다.

문화와 심리학

1.인간의 심리는 현재 느리게 발전하고 적응하지만, 이는 결국 변화할 것이다. 좋은 방향으로 변화하는 것이 관건이며, 이는 어떤 사람들에게는 쉽지 않을 수 있다. 풍부한 지능과 자동화 기술 덕분에, 우리는 오늘날 환경에 부적응적인 진화적 잔재보다 훨씬 더 지속 가능한 심리적 메커니즘을 구축할 것이다. 정신의학과 심리학 분야의 혁신은 불과 수십 년 만에 수천 년에 해당하는 발전 수준에 도달할 것이다. 인간의 근본적인 상태는 개선될 것이다. 조잡하고 퇴행적인 심리적 개입의 위험은 과장된 측면이 있는데, 우리가 훨씬 더 정교하고 다양한 심리 공학 기술을 보유하게 될 것이기 때문이다.

2.고도의 불확실성으로 가득 찬 세상에서, 사람들은 그 어느 때보다도 더욱 치열하게 권력, 지위, 부를 추구할 것이며, 그 과정에서 기꺼이 동포를 배신할 것이다. 그들은 자신의 행동을 정당화하고 심지어 위대하다고 꾸미기 위해 온갖 종류의 논리를 만들어낼 것이다. 주변을 둘러보면 알 수 있다.

3.당신이 살아 있는 동안, 믿기 어려울 정도로 추악한 행태들을 목격하게 될 것이다.

4.지금 명백한 이중 잣대가 존재한다: 0.01% 최상위 부유층에 진입했거나 곧 진입할 사람들은 AI가 모두에게 혜택을 줄 것이고 고용 문제 등을 걱정할 필요가 없다고 주장하면서도, 1년, 5년, 혹은 20년 후에도 자신의 부를 포기하지 않을 것이라고 말한다. 사람들은 이를 간파했으며, 이미 대응하기 시작했다. 분명히 하자면, 나 역시 내 지위를 포기하지 않을 것이지만, 모든 것이 완벽할 것이라고 생각하지도 않는다 (그리고 나는 최상위 0.01% 부유층이 아니다). 따라서 우리는 불공정한 세상을 구축할 위험에 직면해 있다. 어떤 사람들은 이 문제에 신경을 쓰며, 나는 이것이 더 자주 논의되어야 한다고 생각한다. 그리고 미국 정치권이 이러한 문제에 대응하는 데 매우 서툴다는 점도 분명히 해야 한다.

5.머스크가 최초의 1000조 달러 억만장자가 될 가능성은 상당히 높아 보인다. 전반적으로, 미래에 칩, 로봇, 우주선에 대한 수요가 1000배 증가할 것이라고 상상하는 것은 어렵지 않으며, 그가 그중 상당 부분의 시장을 차지할 가능성이 높다.

조정

1.사회 각 계층에서 더 나은 조정이 필요하다는 점은 명백하다. 우리가 현재 더 나은 조정에 대해 이해하는 바에는 몇 가지 결함과 위험이 존재하지만, 그 잠재력에 비하면 아직 빙산의 일각만을 본 것 같다.

2.적어도 AI 문제에 대해 어느 정도 국제적 조정을 하는 것이 좋은 생각일 수 있다. 조약과 GPU 수량 집계가 필요할 수 있다. 이는 (a) 나선형으로 증가하는 적대적인 군사 및 정부 권력 축적을 늦추고, (b) 과학 및 기타 중요한 진보 분야에 미치는 영향을 최소화하도록 설계될 수 있다. GPU의 위력이 너무나 막강하기 때문에 이를 실현하지 못할 수도 있다. 우리가 핵무기에서 이뤄낼 수 있었던 것은, 미치광이가 아닌 이상 아무도 핵무기를 실제로 사용하려 들지 않았기 때문이다.

3.AI 연구실들이 협력하여 AI 생산을 중단하거나 늦출 가능성은 2023년보다 더 높아졌다. 여기에는 많은 상충 관계가 존재하지만, 중단의 가치는 오늘날 2023년보다 약간 더 높다. 자동화된 연구를 보유하게 될 때 (현재는 자동화된 공학만 보유), 중단이 낭비가 될 것이라는 주장은 성립하기 어렵다.

권력, 폭력, 안전, 자유

1.우리의 우주는 연약할 수 있다. 현재의 세계에는 우리가 적시에 협력하여 통제할 수 없으면서도, 우리 세계의 진실을 지탱할 만한 거버넌스와 자유 규범을 유지할 수 없는(전체 감시 체제를 채택하지 않는 한) 자유도가 존재할 수 있다. 그런 세상에서 권력 축적은 미끄러운 경사로와 같다는 점에 유의해야 한다. 그런 세상의 많은 경우, 결국 대부분의 사람이 어려운 상황에 처할 수 있다. 이것이 사실이 아니면 좋겠지만, 어쩌면 사실일 수도 있다.

2.AI의 확산 속도는 여러 잠재적 속도 제한 요인이 존재하더라도 0보다 클 것이다. 세상에는 컴퓨터가 아주 많으며, 부동소수점 연산과 AI의 교환 비율은 역사상 최저점으로 떨어졌다. 모든 것이 정체될 것이라고 기대해서는 안 된다.

3.영구적 하위 계층의 개념은 영구적 상위 계층의 존재를 전제한다. 이는 어떤 사람들이 더 많은 권리를 가지며, 그 권리가 종종 정당한 이유 없이 누리는 것임을 가정한다. 그 근본 원인은 항상 암묵적이거나 실현된, 폭력에 의해 뒷받침되는 지배이다. 그러나 아마도 고급 AI를 가진 세상에서, 인간은 더 이상 어떤 정당한 지배권도, 또한 다른 인간 위에 군림한다고 인정받을 만한 어떤 공적이나 지위도 가지지 못할 것이다. 이는 결코 완전히 현실화되지 않을 수 있지만, 이에 대해 생각하는 것이 더 중요해질 수 있다.

4.기관들은 사방에서 다가오는 변혁의 압력에 직면할 것이다. 이 결말에 이르는 경로는 다양하다. 어떤 것은 안전을 구실로 삼고, 어떤 것은 온건한 권력 확장을 통해서이며, 이는 강력한 AI + 완전 자동화된 군수 공급망 + 완전 자동화된 무기라는 정점에 도달한다. 우리에게는 더 나은 기관이 필요하다.

5.미래에는 많은 “제로데이 취약점”이 출현할 수 있다. 네트워크, 생물학, 인프라, 신경, 밈학, 물리학 등 다양한 영역에서 말이다. 우리는 이러한 영역에서 알고리즘의 깊이와 일관성이 가져다주는 보상이 무엇인지, 방어와 견고함 측면에서든 파괴 측면에서든 전혀 알지 못한다. 세계에서 가장 똑똑한 인간들에게조차 핵무기의 알고리즘적 깊이는 도달 불가능한 수준이 아니다.

6.관련된 경고: 기술 나무에는 매우 끔찍한 무언가가 존재할 수 있다. 우리는 이에 대해 아무것도 모른다.

7.대규모 로봇 공학 기술이 초래하는 위험에는 사이버 공격의 새로운 영역과 경로 같은 현실적인 위험뿐만 아니라, 실제적인 장악과 쿠데타의 위험도 포함된다. 우리는 이러한 위험을 심각하게 받아들이고, 그 위험을 줄이기 위해 노력해야 한다.

상호확증파괴(MAD)(주: 두 국가가 상대를 완전히 파괴할 핵전력을 보유하고 있으며, 어느 한쪽이 공격받으면 반드시 동등하거나 더 강한 수준의 핵보복을 가한다는 이론적 가정)는 20세기와 21세기 초 기술에 기반을 두고 있습니다. 우리는 짧은 시간 안에 천 년 동안의 발전 규모에 맞먹을 급격한 기술 변화를 겪게 될 것입니다. 이는 MAD가 필연적이지 않다는 뜻입니다. 이 문제는 해결 가능하며, 절대적으로 확정적인 것이나 완전한 전복도 아닙니다. 결정적 우위를 확보하는 오차 범위가 매우 낮고, 애초에 실현 자체가 불가능할 수도 있기 때문입니다. 예전에 일부 사람들은 이 주제를 다소 진지하지 않은 태도로 논하곤 했는데, 저는 그것이 잘못되었고 무책임한 일이라고 생각합니다. 이것은 우리가 논할 수 있는 가장 진지한 주제 가운데 하나입니다. 사람들이 이에 대해 우려하는 것은 지극히 당연하지만, 이제는 이 문제를 직시해야 할 때라고 생각합니다.
군대, 경찰, 그리고 정부의 주요 법 집행 메커니즘은 모두 자동화되어 인간보다 더 지능적으로 변할 것입니다. 이로 인해 어떤 결과가 초래될지는 여러분 각자가 판단하시기 바랍니다.
마지막으로: AI 연구소는 결국 국유화될 수 있습니다. 미국의 체제는 이런 방식에 적합하지 않은 듯 보이지만, 보수나 진보 정치 환경 어디에서든 국유화를 실현할 수 있는 여러 경로가 존재하며, 이 경로들은 전혀 불가능해 보이지도 않습니다. 원칙적으로 이 연구소들은 배후에서 군 및 정보 기관과 조율을 유지할 수 있을 것으로 보입니다. 연방 정부가 우리가 지금 논의하는 이러한 일방적 권한을 갖는 것 역시 극도로 위험합니다. 민간 기업이 이 권한을 갖는 것은 다릅니다. 보통 직접 폭력을 행사하지 않으며 법도 이를 허용하지 않기 때문입니다. 저는 국유화를 그리 달가워하지 않지만, 세상은 혼란스럽고 점점 더 위험해지고 있다는 점은 분명합니다.