팟캐스트 출처: Y Combinator

편집 및 번역: Deep Tide TechFlow

진행자: 게리 탄

게스트: 데미스 하사비스 (딥마인드 창립자, 2024년 노벨 화학상 수상자, 구글 딥마인드 대표)

방송일: 2026년 4월 29일

편집자 주

구글 딥마인드 CEO이자 노벨 화학상 수상자인 데미스 하사비스가 Y Combinator에 출연해 인공 일반 지능(AGI)을 향한 주요 발전 사항들을 논의하고, 기업가들이 앞서 나갈 수 있도록 조언을 제공하며, 차세대 주요 과학적 돌파구가 어디에서 일어날지 전망했습니다. 딥테크 기업가들에게 그가 준 가장 실질적인 조언은 10년짜리 딥테크 프로젝트를 지금 시작한다면, 계획에 AGI의 등장을 반드시 포함시켜야 한다는 것이었습니다. 또한 그는 딥마인드에서 분사한 AI 제약 회사인 아이소모픽 랩스가 곧 중요한 발표를 할 것이라고 밝혔습니다.

명언

AGI 경로 및 일정

• "이러한 기존 기술 구성 요소들은 거의 확실히 AGI의 최종 아키텍처의 일부가 될 것입니다."

• "지속적인 학습, 장기적인 추론, 기억력에는 여전히 몇 가지 문제가 있습니다. 인공 일반 지능(AGI)은 이러한 모든 문제를 해결해야 합니다."

• "만약 여러분의 인공 일반 지능(AGI) 구현 시점이 저처럼 2030년경이라면, 오늘 첨단 기술 프로젝트를 시작할 때 그 과정에서 AGI가 등장할 가능성을 고려해야 합니다."

메모리 및 컨텍스트 창

• "컨텍스트 윈도우는 대략 작업 기억과 유사합니다. 일반적인 사람의 작업 기억은 고작 7자리 숫자에 불과하지만, 컨텍스트 윈도우는 수백만, 심지어 수천만 개의 토큰을 저장할 수 있습니다. 하지만 문제는 중요하지 않거나 잘못된 정보까지 포함하여 모든 것을 그 안에 crammed 넣으려 한다는 것입니다. 현재의 접근 방식은 상당히 조잡합니다."

• "실시간 비디오 스트림을 처리하고 모든 토큰을 저장하려면 100만 개의 토큰으로는 약 20분 정도밖에 처리할 수 없습니다."

추론의 오류

• "저는 제미니와 체스 두는 걸 좋아해요. 가끔 제미니는 자신이 둔 수가 잘못된 수라는 걸 알지만 더 나은 수를 찾지 못해서 결국 똑같은 잘못된 수를 두곤 하죠. 하지만 정확한 추론 시스템이라면 그래서는 안 되잖아요."

• "한편으로는 국제수학올림피아드(IMO) 금메달급 문제를 풀 수 있지만, 다른 한편으로는 다른 질문을 받으면 초등학교 수준의 수학 오류를 범합니다. 자기 성찰 능력이 부족한 것 같습니다."

에이전트와 창의성

• "인공 일반 지능(AGI)을 달성하려면 문제를 사전에 해결할 수 있는 시스템이 필요합니다. 에이전트가 바로 그 길이며, 저는 우리가 이제 막 시작 단계에 있다고 생각합니다."

• "아직 Vibe Coding을 사용해서 앱 스토어 차트 1위를 차지하는 AAA급 게임을 만든 사례를 본 적이 없습니다. 현재 투입되는 노력 수준을 고려하면 충분히 가능해야 하는데, 아직 그런 사례가 나오지 않았습니다. 이는 도구나 프로세스에 뭔가 부족한 점이 있음을 시사합니다."

증류 및 소형 모델

• "저희의 가설은 최첨단 프로 모델이 출시된 후 6개월에서 1년 안에 그 기능을 엣지 디바이스에서 실행할 수 있는 매우 작은 모델로 압축할 수 있다는 것입니다. 아직 정보 밀도의 이론적 한계에 도달하지 않았습니다."

과학적 발견과 "아인슈타인 테스트"

• "저는 이것을 '아인슈타인 테스트'라고 부르기도 하는데, 1901년의 지식을 이용해 시스템을 훈련시킨 다음, 그 시스템이 1905년에 아인슈타인이 발표한 결과, 즉 특수 상대성 이론을 포함한 모든 결과를 독립적으로 도출해낼 수 있는지 여부를 확인하는 것입니다. 일단 이 테스트를 통과하면, 이러한 시스템은 완전히 새로운 것을 발명하는 데 그리 멀지 않은 단계에 이른다고 볼 수 있습니다."

• "밀레니엄상 문제를 해결하는 것만으로도 이미 대단한 일입니다. 하지만 그보다 더 어려운 것은 최고의 수학자들이 평생 연구할 가치가 있다고 여겨지는, 그에 못지않게 심오한 새로운 밀레니엄상 문제들을 제안하는 것입니다."

심층 기술 분야 창업 조언

• "어려운 문제를 추구하는 것과 쉬운 문제를 추구하는 것은 사실 꽤 비슷합니다. 다만 어려움이 다른 방식으로 나타날 뿐이죠. 인생은 짧으니, 남들이 하지 않으면 하지 않을 일에 에너지를 쏟는 게 어떻겠습니까?"

AGI 구현 경로

게리 탄 : 당신은 거의 누구보다도 오랫동안 인공 일반 지능(AGI)에 대해 생각해 오셨습니다. 현재의 패러다임을 볼 때, 최종 AGI 아키텍처의 어느 정도를 이미 갖추고 있다고 생각하십니까? 그리고 현재 근본적으로 부족한 부분은 무엇입니까?

데미스 하사비스 : 대규모 사전 학습, RLHF, 마인드 체인 등은 최종 AGI 아키텍처에 포함될 것이라고 확신합니다. 이러한 기술들은 이미 많은 것을 입증했습니다. 2년 후 이러한 기술들이 막다른 길에 다다랐다고는 상상할 수 없습니다. 말이 안 되죠. 하지만 이미 존재하는 기술 외에도 한두 가지 부족한 부분이 있을 수 있습니다. 지속적인 학습, 장기 추론, 기억의 특정 측면 등은 여전히 ​​해결해야 할 문제입니다. AGI는 이러한 모든 문제를 해결해야 합니다. 기존 기술에 점진적인 혁신을 더하면 그 수준까지 확장할 수 있을지 모르지만, 여전히 한두 가지 주요 난관이 남아 있을 수 있습니다. 하지만 한두 가지 이상은 아닐 거라고 생각합니다. 제 개인적인 평가로는 해결되지 않은 핵심 문제가 있을 확률은 50/50 정도입니다. 그래서 구글 딥마인드에서는 두 가지 방향으로 연구를 진행하고 있습니다.

게리 탄 : 저는 많은 에이전트 시스템을 다뤄봤는데, 가장 놀라운 점은 기본 가중치가 항상 동일하다는 것입니다. 따라서 지속적인 학습이라는 개념은 특히 흥미로운데, 현재 우리는 마치 "야간 꿈 주기" 같은 것들을 테이프로 땜질하듯이 임시방편으로 해결하고 있기 때문입니다.

데미스 하사비스 : 네, 꿈의 순환 과정은 정말 흥미롭습니다. 저희는 이전에 일화 기억 통합이라는 맥락에서 이 부분을 생각해 본 적이 있습니다. 제 박사 연구는 해마가 새로운 지식을 기존 지식 체계에 어떻게 우아하게 통합하는지에 초점을 맞췄습니다. 뇌는 이 과정을 매우 효율적으로 수행합니다. 특히 REM 수면 중에 중요한 경험을 되풀이하며 학습함으로써 이 과정을 완료합니다. 저희 초기 아타리 프로그램인 DQN(딥마인드에서 2013년에 발표한 딥 Q-네트워크로, 딥 강화 학습을 사용하여 아타리 게임에서 인간 수준의 성능을 달성한 최초의 프로그램입니다)이 아타리 게임을 완벽하게 마스터한 핵심 방법 중 하나는 경험 되풀이였습니다. 이는 신경과학에서 유래한 것으로, 성공적인 경로를 반복적으로 재생하는 것입니다. 2013년은 AI 분야에서는 아주 오래된 역사이지만, 당시에는 매우 중요한 개념이었습니다.

저도 동감입니다. 지금 우리는 모든 정보를 컨텍스트 윈도우에 crammed 넣기 위해 테이프를 사용하고 있는 셈이죠. 뭔가 잘못된 것 같습니다. 생물학적 뇌가 아닌, 이론적으로 수백만, 수천만 개의 컨텍스트 윈도우를 처리할 수 있는 기계를 만들고 메모리가 완벽하다고 해도, 검색하고 불러오는 데 드는 비용은 여전히 ​​존재합니다. 구체적인 의사결정이 필요한 이 순간에, 모든 정보를 저장할 수 있다 하더라도 진정으로 필요한 정보를 찾는 것은 쉽지 않습니다. 따라서 메모리 분야에는 여전히 혁신의 여지가 많다고 생각합니다.

게리 탄 : 솔직히 말해서, 백만 개의 토큰에 대한 컨텍스트 창은 제가 예상했던 것보다 훨씬 크고, 덕분에 많은 일들을 할 수 있게 되었습니다.

데미스 하사비스 : 대부분의 사용 시나리오에서는 충분히 큰 용량입니다. 하지만 생각해 보세요. 컨텍스트 윈도우는 대략 작업 메모리와 유사합니다. 일반적인 사람의 작업 메모리는 고작 7자리 숫자에 불과하지만, 우리는 수백만, 심지어 수천만 개의 컨텍스트 윈도우를 가지고 있습니다. 문제는 중요하지 않거나 잘못된 정보까지 포함하여 모든 것을 그 안에 crammed 넣는다는 것입니다. 현재의 접근 방식은 매우 조잡합니다. 예를 들어, 지금 실시간 비디오 스트리밍을 처리하면서 모든 토큰을 단순히 기록한다고 가정해 봅시다. 백만 개의 토큰은 약 20분 정도밖에 지속되지 않습니다. 하지만 시스템이 한두 달 동안의 사용자 생활을 이해하도록 하려면 그 정도로는 턱없이 부족합니다.

게리 탄 : 딥마인드는 항상 강화 학습과 탐색에 깊이 투자해 왔습니다. 이러한 철학이 현재 제미니 개발 작업에 얼마나 깊이 반영되어 있습니까? 강화 학습은 여전히 ​​과소평가되고 있다고 생각하십니까?

데미스 하사비스 : 아마도 과소평가되고 있는 것 같습니다. 이 분야에 대한 관심도는 변동이 심했습니다. 저희는 딥마인드 설립 초기부터 에이전트 시스템을 연구해 왔습니다. 아타리 게임과 알파고 관련 연구는 본질적으로 강화 학습 에이전트, 즉 자율적으로 목표를 달성하고, 의사 결정을 내리고, 계획을 수립할 수 있는 시스템에 관한 것입니다. 물론, 처음에는 복잡성이 비교적 감당하기 쉬운 게임 분야를 선택했고, 알파고 이후에는 알파스타와 같이 점차 더 복잡한 게임으로 영역을 넓혀갔습니다. 기본적으로 저희는 가능한 모든 게임을 다뤄봤습니다.

다음 질문은 이러한 모델들이 게임 모델뿐 아니라 세계 모델이나 언어 모델로도 일반화될 수 있는지 여부입니다. 저희는 지난 몇 년간 이 부분을 연구해 왔습니다. 오늘날 모든 주요 모델의 사고 패턴과 추론 과정은 본질적으로 알파고가 개척한 것으로 회귀하는 것입니다. 당시 저희가 했던 연구의 많은 부분이 오늘날에도 매우 중요하다고 생각합니다. 저희는 과거의 아이디어들을 재검토하고 몬테카를로 트리 탐색과 같은 다양한 강화 학습 방법을 포함하여 더 큰 규모로, 더 일반적인 방식으로 적용하고 있습니다. 알파고와 알파제로의 아이디어는 오늘날의 기초 모델에 매우 중요한 의미를 가지며, 향후 몇 년간의 발전은 상당 부분 이러한 맥락에서 이루어질 것이라고 생각합니다.

증류 및 소형 모델

게리 탄: 지금처럼 스마트한 제품을 만들려면 더 큰 모델이 필요하지만, 동시에 증류 기술이 발전하면서 더 작은 모델도 상당히 빠르게 생산할 수 있습니다. 플래시 모델은 매우 강력해서 최첨단 모델의 95% 성능을 내면서도 가격은 10분의 1밖에 안 되죠. 맞습니까?

데미스 하사비스: 저는 이것이 우리의 핵심 강점 중 하나라고 생각합니다. 최첨단 기능을 확보하려면 먼저 가장 큰 모델을 구축해야 합니다. 우리의 가장 큰 강점 중 하나는 이러한 기능을 점점 더 작은 모델로 신속하게 정제하고 압축하는 능력입니다. 우리는 이 정제 방법을 개발했고, 여전히 세계 최고 수준입니다. 또한 이렇게 해야 할 강력한 사업적 동기가 있습니다. 우리는 아마도 세계 최대의 AI 애플리케이션 플랫폼일 것입니다. AI 개요, AI 모드, 그리고 제미니를 보유하고 있습니다. 현재 지도, 유튜브 등을 포함한 모든 구글 제품에 제미니 또는 관련 기술이 통합되어 있습니다. 이는 수십억 명의 사용자를 대상으로 하는 수십 개의 제품을 의미합니다. 따라서 이러한 제품들은 매우 빠르고, 매우 효율적이며, 매우 저렴하고, 지연 시간이 매우 짧아야 합니다. 이는 플래시와 더 작은 플래시 라이트 모델을 매우 효율적으로 만들어야 하는 강력한 동기를 부여하며, 궁극적으로 사용자들의 다양한 작업에 큰 도움이 되기를 바랍니다.

게리 탄: 이 소형 모델들이 얼마나 똑똑해질 수 있을지 궁금합니다. 증류 기술에는 한계가 있을까요? 50B나 400B 모델이 오늘날 가장 최첨단 대형 모델들만큼 똑똑해질 수 있을까요?

데미스 하사비스: 정보 이론의 한계에 도달했다고 생각하지 않습니다. 적어도 아직은 아무도 확실히 알지 못하죠. 언젠가는 정보 밀도에 어떤 한계가 생길 수도 있겠지만, 현재로서는 최첨단 프로 모델이 출시되면 6개월에서 1년 안에 그 기능을 엣지 디바이스에서 실행될 수 있을 정도로 아주 작은 모델로 압축할 수 있을 것으로 예상합니다. 젬마 모델에서 이를 확인할 수 있습니다. 저희 젬마 4 모델은 크기에 비해 매우 뛰어난 성능을 보여줍니다. 이는 다양한 정제 기법과 소형 모델 효율성 최적화 기법을 통해 달성한 결과입니다. 따라서 이론적인 한계는 없다고 생각합니다. 아직 그 한계에서 한참 멀리 떨어져 있다고 봅니다.

게리 탄: 지금 정말 어처구니없는 현상이 벌어지고 있는데, 엔지니어들이 6개월 전보다 500배에서 1000배나 더 많은 일을 하고 있다는 겁니다. 이 자리에 계신 분들 중에는 2000년대 구글 엔지니어가 했던 일의 1000배를 하는 분들도 계십니다. 스티브 예그가 이 주제에 대해 이야기한 적이 있습니다.

데미스 하사비스: 저는 매우 기대하고 있습니다. 소형 모델은 여러모로 유용합니다. 우선 비용이 저렴하고, 속도 또한 큰 장점입니다. 코드를 작성하거나 다른 작업을 할 때, 특히 시스템과 협업할 때 훨씬 빠르게 반복 작업을 수행할 수 있습니다. 빠른 시스템이 최첨단 기술은 아니더라도, 예를 들어 최첨단 기술의 90~95% 정도만 갖추더라도 충분히 만족스럽고, 반복 작업을 통해 얻는 속도 향상은 그 10%를 훨씬 뛰어넘습니다.

또 다른 주요 트렌드는 효율성뿐만 아니라 개인 정보 보호 및 보안을 위해서도 이러한 모델을 엣지 디바이스에서 실행하는 것입니다. 매우 개인적인 정보를 다루는 기기나 로봇을 생각해 보세요. 가정용 로봇의 경우, 특정 시나리오에서만 클라우드의 더 큰 모델에 작업을 위임하고, 로컬에서 실행되는 고효율의 강력한 모델이 필요할 것입니다. 오디오 및 비디오 스트림은 로컬에서 처리되고 데이터는 로컬에 저장됩니다. 이것이 궁극적인 이상적인 상태라고 생각합니다.

기억과 추론

게리 탄 : 맥락과 메모리로 돌아가 보겠습니다. 현재 모델은 상태를 저장하지 않습니다. 만약 지속적인 학습 기능을 갖춘다면 개발자 경험은 어떻게 달라질까요? 그런 모델을 어떻게 설계하시겠습니까?

데미스 하사비스: 흥미로운 질문입니다. 지속적인 학습의 부족은 현재 에이전트가 완전한 작업을 완료하지 못하게 하는 주요 병목 현상입니다. 현재의 에이전트는 특정 작업의 일부를 수행하는 데 유용합니다. 여러 에이전트를 조합하여 멋진 작업을 수행할 수도 있지만, 특정 환경에 잘 적응하지 못합니다. 그렇기 때문에 아직 진정한 의미의 "발사 후 잊어버리는" 방식이 될 수 없습니다. 에이전트는 특정 환경에서 학습해야 합니다. 진정한 일반 지능을 구현하려면 이 문제를 해결해야 합니다.

게리 탄: 추론 능력은 이 모델에서 어느 정도 수준인가요? 현재 모델의 사고 과정은 매우 탄탄하지만, 똑똑한 학부생이라면 하지 않을 만한 오류를 여전히 범하고 있습니다. 구체적으로 어떤 부분을 수정해야 할까요? 추론 능력 면에서 어느 정도 진전을 기대하시나요?

데미스 하사비스: 우리의 사고방식에는 여전히 혁신의 여지가 많습니다. 우리가 하는 방식은 여전히 ​​상당히 조잡하고 무식합니다. 사고 과정을 모니터링하고 사고 중간에 개입하는 것과 같이 개선해야 할 부분이 많습니다. 저는 우리 시스템과 경쟁사 시스템 모두 어느 정도 과도하게 생각하고 악순환에 빠지는 경향이 있다고 자주 느낍니다.

저는 가끔 제미니 체스를 관찰 도구로 활용하곤 합니다. 흥미로운 점은 주요 기초 모델들이 체스에서 상당히 부진한 모습을 보인다는 것입니다. 체스는 잘 알려진 영역이기 때문에 모델의 사고 과정을 관찰하는 것은 매우 유익합니다. 모델의 추론이 잘못된 방향으로 가고 있는지, 아니면 타당한지 빠르게 판단할 수 있기 때문입니다. 관찰 결과, 모델은 어떤 수를 두려고 고민하다가 그것이 잘못된 수라는 것을 깨닫지만 더 나은 수를 찾지 못해 결국 같은 잘못된 수를 두는 경우가 있습니다. 정확한 추론 시스템이라면 이런 행동을 보여서는 안 됩니다.

이 거대한 격차는 여전히 존재하지만, 한두 가지 조정만으로도 해결될 수 있을지도 모릅니다. 이것이 바로 소위 "들쭉날쭉한 지능"을 보이는 이유입니다. 어떤 문제에서는 국제수학올림피아드(IMO) 금메달급 문제를 풀지만, 다른 문제에서는 초등학교 수준의 수학 실수를 저지르는 경우죠. 이러한 지능은 자신의 사고 과정에 대한 자기 성찰 능력이 부족한 것처럼 보입니다.

요원의 진정한 능력

게리 탄: 에이전트는 큰 화제거리입니다. 어떤 사람들은 그저 과장이라고 하지만, 저는 개인적으로 이제 막 시작일 뿐이라고 생각합니다. 딥마인드는 에이전트의 능력에 대해 어떤 내부적인 평가를 내리고 있으며, 외부의 선전과는 얼마나 다른가요?

데미스 하사비스: 저도 동의합니다. 이제 막 시작 단계죠. 인공 일반 지능(AGI)을 구현하려면 문제를 사전에 해결해주는 시스템이 필요합니다. 저희는 이 점을 항상 명확히 인식해 왔습니다. 에이전트가 바로 그 길이며, 이제 막 시작 단계라고 생각합니다. 모두가 에이전트를 더 효율적으로 작동시키는 방법을 연구하고 있습니다. 저희도 개별 실험을 통해 많은 연구를 진행했고, 여기 계신 많은 분들도 마찬가지일 겁니다. 에이전트를 워크플로에 통합하여 단순히 부가적인 요소가 아니라, 근본적으로 중요한 역할을 수행하도록 만드는 것이 목표입니다. 아직 실험 단계에 머물러 있습니다. 앞으로 2~3개월 안에야 진정으로 가치 있는 시나리오를 발견하기 시작할지도 모릅니다. 이 기술은 아마도 단순한 데모 수준을 넘어, 여러분의 시간과 효율성을 실질적으로 향상시켜주는 단계에 도달할 것입니다.

저는 사람들이 수십 개의 에이전트를 실행시켜 수십 시간 동안 그대로 두는 것을 자주 보지만, 투자 대비 결과가 제대로 나오는지는 확신이 서지 않습니다.

아직 Vibe Coding을 사용해서 앱스토어 차트 상위권에 드는 AAA급 게임을 만든 사람은 아무도 없습니다. 저도 직접 만들어 봤고, 여기 계신 많은 분들도 꽤 괜찮은 데모를 만들어 보셨죠. 저는 이제 30분 만에 테마파크 프로토타입을 만들 수 있는데, 17살 때는 6개월이나 걸렸습니다. 여름 내내 시간을 투자하면 정말 놀라운 결과물을 만들어낼 수 있을 거라고 생각합니다. 하지만 여전히 장인정신과 열정, 그리고 감각이 필요합니다. 무엇을 만들든 이러한 자질들을 담아내야 합니다. 사실, 아직 어린이가 1천만 장이나 팔린 게임을 만든 적은 없지만, 이론적으로는 현재 도구들을 사용하면 충분히 가능해야 합니다. 뭔가 부족한 부분이 있는 거죠. 과정상의 문제일 수도 있고, 도구의 문제일 수도 있습니다. 앞으로 6개월에서 12개월 안에 그런 결과가 나올 거라고 기대합니다.

게리 탄: 어느 정도까지 완전 자동화될까요? 처음부터 완전 자동화될 거라고는 생각하지 않습니다. 오히려 여기 있는 사람들이 먼저 1000배의 효율성을 달성하고, 그 후에 누군가가 이러한 도구를 활용하여 베스트셀러 앱과 게임을 만들고, 그제서야 더 많은 단계가 자동화될 가능성이 더 높습니다.

데미스 하사비스: 네, 그걸 먼저 보셔야 해요.

게리 탄: 그 이유 중 하나는 실제로 그렇게 하는 사람들이 있지만, 에이전트가 얼마나 도움을 줬는지 공개적으로 말하기를 꺼리기 때문입니다.

데미스 하사비스: 그럴지도 모르죠. 하지만 저는 창의성에 대해 이야기하고 싶습니다. 저는 알파고를 예로 자주 드는데, 두 번째 대국 37번째 수는 모두가 알고 있을 겁니다. 저는 알파폴드 같은 과학 프로젝트를 시작하기 전에 바로 그 순간을 기다려왔습니다. 알파폴드 개발은 10년 전 서울에서 돌아온 다음 날부터 시작했습니다. 이번 한국 방문은 알파고 10주년을 기념하기 위한 것이었습니다.

하지만 단순히 37번째 수를 넘어서는 것만으로는 충분하지 않습니다. 멋지고 유용하긴 합니다. 하지만 이 시스템이 바둑 자체를 만들어낼 수 있을까요? "규칙은 5분 안에 배울 수 있지만 평생을 살아도 완전히 마스터하기 어렵고, 미적으로 우아하며, 한 게임을 오후에 끝낼 수 있는 게임"과 같은 개략적인 설명을 시스템에 입력했을 때, 오늘날의 시스템으로는 바둑을 만들어낼 수 없습니다. 그렇다면 왜 그럴까요?

게리 탄: 아마 우리 중 누군가가 그 일을 해낼 수 있을 겁니다.

데미스 하사비스 : 누군가 이미 해냈다면, 시스템에 뭔가 부족한 게 아니라 우리가 시스템을 잘못 사용하고 있는 것일지도 모릅니다. 어쩌면 그게 정답일 수도 있죠. 오늘날의 시스템에는 이미 그런 기능이 있을지도 모르지만, 시스템을 제대로 활용하고 프로젝트에 영혼을 불어넣을 만큼 재능 있는 창작자가 필요합니다. 동시에 그 사람은 도구와 하나가 될 정도로 깊이 몰입해야 합니다. 밤낮으로 도구에 몰두하고 깊은 창의력을 발휘한다면 상상 이상의 것을 만들어낼 수 있을 겁니다.

오픈 소스 및 멀티모달 모델

게리 탄: 화제를 바꿔서 오픈 소스에 대해 이야기해 볼까요? 최근 Gemma가 출시되면서 매우 강력한 모델을 로컬에서 실행할 수 있게 되었습니다. 이에 대해 어떻게 생각하시나요? AI가 클라우드에 주로 머무르는 것이 아니라 사용자가 직접 제어하는 ​​형태로 발전할까요? 이러한 변화가 누가 이러한 모델을 활용하여 제품을 개발할 수 있게 되는 데 영향을 미칠까요?

데미스 하사비스: 저희는 오픈 소스와 오픈 사이언스를 강력하게 지지합니다. 말씀하신 알파폴드(AlphaFold)는 완전히 무료 오픈 소스 프로젝트입니다. 저희의 연구 결과는 최고 수준의 학술지에 꾸준히 발표되고 있습니다. 젬마(Gemma)의 경우에도 비슷한 규모의 세계 최고 수준 모델을 만드는 것을 목표로 하고 있습니다. 젬마는 출시된 지 불과 2주 반밖에 되지 않았는데 벌써 약 4천만 번 다운로드되었습니다.

저는 서구 기술 스택이 오픈 소스 분야에 존재하는 것이 중요하다고 생각합니다. 중국의 오픈 소스 모델은 훌륭하고 현재 오픈 소스 분야를 선도하고 있지만, Gemma는 규모에 비해 매우 경쟁력이 있다고 믿습니다.

또 다른 문제는 자원입니다. 누구도 두 개의 완전한 규모의 프론티어 모델을 만들 만큼의 추가 컴퓨팅 능력을 갖고 있지 않습니다. 따라서 현재 저희는 엣지 모델을 안드로이드, 스마트 글래스, 로봇 등에 활용하고 있으며, 기기에 배포되면 본질적으로 노출되기 때문에 처음부터 완전히 개방하는 것이 최선이라고 판단하여 개방형 모델로 개발하고 있습니다. 나노미터 수준에서 개방형 전략을 통합한 것도 전략적으로 타당한 선택입니다.

게리 탄: 무대에 오르기 전에 제가 개발한 AI 운영 체제를 시연했습니다. 음성으로 제미니와 직접 상호작용할 수 있습니다. 시연할 때는 꽤 긴장했지만, 실제로 잘 작동했습니다. 제미니는 처음부터 멀티모달 시스템으로 설계되었습니다. 저는 여러 모델을 사용해 봤지만, 현재까지 음성-모델 직접 상호작용, 도구 호출 기능, 그리고 상황 이해 능력 면에서 제미니에 견줄 만한 모델은 없습니다.

데미스 하사비스: 네. 제미니 시리즈의 장점 중 아직 충분히 알려지지 않은 점은 처음부터 멀티모달 방식으로 개발했다는 ​​것입니다. 이 때문에 초기에는 텍스트 기반 작업보다 어려움이 있었지만, 장기적으로는 큰 이점이 될 것이라고 생각하며 이미 그 효과가 나타나기 시작했습니다. 예를 들어, 월드 모델 측면에서 딥마인드가 개발한 생성형 인터랙티브 환경 모델인 지니(Genie)는 제미니를 기반으로 구축되었습니다. 로봇 공학 분야도 마찬가지입니다. 제미니 로보틱스는 멀티모달 기반 모델 위에 구축될 것이며, 이러한 멀티모달 강점은 경쟁 우위 요소가 될 것입니다. 또한, 알파벳의 자율주행 회사인 웨이모(Waymo)에서도 제미니를 점점 더 많이 활용하고 있습니다.

스마트폰이나 안경에 탑재되어 현실 세계에서도 사용자를 따라다니며 주변의 물리적 환경을 이해해야 하는 디지털 비서를 상상해 보세요. 저희 시스템은 바로 이 분야에서 탁월한 성능을 자랑합니다. 앞으로도 이 분야에 지속적으로 투자할 것이며, 이러한 문제 해결에 있어 저희의 선도적인 위치는 매우 중요하다고 생각합니다.

게리 탄 : 추론 비용이 빠르게 감소하고 있습니다. 추론이 사실상 무료가 되면 어떤 일이 가능해질까요? 그 결과 팀의 최적화 방향이 바뀔까요?

데미스 하사비스: 추론이 완전히 무료가 될지는 확신할 수 없습니다. 제본스 역설(효율성이 증가하면 총 소비량이 증가하는 현상)이 존재하기 때문입니다. 결국 모든 사람이 보유한 컴퓨팅 파워를 모두 소진하게 될 것이라고 생각합니다. 수백만 개의 에이전트가 협력하여 작업하는 경우나, 소수의 에이전트가 여러 방향으로 동시에 생각하고 그 결과를 통합하는 경우를 상상해 보세요. 우리는 이러한 방향들을 실험하고 있으며, 이 모든 과정에서 사용 가능한 추론 자원이 소모될 것입니다.

에너지 측면에서 볼 때, 제어된 핵융합, 상온 초전도, 최적의 배터리와 관련된 몇 가지 문제를 해결한다면 재료 과학을 통해 거의 제로에 가까운 에너지 비용을 달성할 수 있을 것이라고 생각합니다. 하지만 적어도 향후 수십 년 동안은 칩의 물리적 제조와 같은 분야에서 병목 현상이 여전히 남아 있을 것입니다. 따라서 추론 장치에 대한 할당량 제한은 여전히 ​​존재할 것이며, 효율적인 사용이 여전히 중요할 것입니다.

다음 과학적 돌파구

게리 탄: 다행히도, 소형 모델들이 점점 더 똑똑해지고 있습니다. 생물학 및 생명공학 분야의 창립자들 중 상당수가 이 자리에 함께하고 있습니다. 알파폴드 3는 이미 단백질을 넘어 더 넓은 범위의 생체 분자로 확장되었습니다. 완전한 세포 시스템을 모델링하는 것은 어느 정도까지 가능할까요? 그것은 완전히 다른 차원의 난이도가 아닐까요?

데미스 하사비스: 아이소모픽 랩스는 순조롭게 진행되고 있습니다. 알파폴드는 신약 개발 과정의 한 단계일 뿐이며, 우리는 관련 생화학 연구를 진행하고 적절한 특성을 가진 화합물을 설계하고 있습니다. 조만간 중요한 발표가 있을 예정입니다.

우리의 궁극적인 목표는 완벽한 가상 세포, 즉 실험 결과와 매우 유사한 출력을 생성하여 실제 적용이 가능한 완전한 기능을 갖춘 세포 시뮬레이터를 만드는 것입니다. 이를 통해 수많은 연구 단계를 건너뛰고 대량의 합성 데이터를 생성하여 다른 모델을 학습시켜 실제 세포의 행동을 예측할 수 있습니다.

완전한 가상 세포를 구현하려면 아직 10년 정도 걸릴 것으로 예상합니다. 딥마인드 사이언스에서는 상대적으로 독립적인 세포핵부터 연구하고 있습니다. 이러한 유형의 문제 해결의 핵심은 적절한 복잡성을 지닌, 입력과 출력을 합리적으로 근사화할 수 있을 만큼 독립적인 물질을 잘라내어 그 하위 시스템에 집중할 수 있는지 여부입니다. 세포핵은 이러한 관점에서 적합한 대상입니다.

또 다른 문제는 데이터 부족입니다. 저는 전자 현미경 및 기타 이미징 기술을 연구하는 최고 과학자들과 이야기를 나눴습니다. 살아있는 세포를 죽이지 않고 이미징하는 것은 혁명적인 일이 될 것입니다. 왜냐하면 문제를 시각적인 문제로 전환시켜 해결 방법을 알 수 있게 해주기 때문입니다. 하지만 제가 아는 한, 현재 나노미터 해상도로 살아있고 역동적인 세포를 손상시키지 않고 이미징할 수 있는 기술은 없습니다. 그 해상도로 정지 이미지를 촬영할 수는 있고, 이미 매우 상세한 이미지를 얻을 수 있어서 흥미롭긴 하지만, 문제를 시각적인 문제로 직접 전환하기에는 충분하지 않습니다.

따라서 두 가지 경로가 있습니다. 하나는 하드웨어 중심의 데이터 중심 접근 방식이고, 다른 하나는 이러한 동적 시스템을 시뮬레이션하기 위해 더 나은 학습 가능한 시뮬레이터를 구축하는 것입니다.

게리 탄: 생물학만 보는 게 아니잖아요. 재료 과학, 신약 개발, 기후 모델링, 수학… 만약 순위를 매겨야 한다면, 향후 5년 안에 가장 급진적인 변화를 겪을 과학 분야는 어디일까요?

데미스 하사비스: 모든 분야는 흥미롭습니다. 그렇기 때문에 인공지능은 항상 저의 가장 큰 열정이었고, 30년 넘게 이 분야에서 일해온 이유이기도 합니다. 저는 인공지능이 과학을 위한 궁극적인 도구가 되어 과학적 이해, 과학적 발견, 의학, 그리고 우주에 대한 우리의 지식을 발전시킬 것이라고 늘 믿어왔습니다.

저희의 초기 사명 선언문은 두 단계 과정이었습니다. 첫째, 지능 문제를 해결하는 것, 즉 인공 일반 지능(AGI)을 구축하는 것입니다. 둘째, 이를 활용하여 다른 모든 문제를 해결하는 것입니다. 하지만 사람들이 "정말 모든 문제를 해결하겠다는 건가요?"라고 묻자 표현을 수정해야 했습니다. 물론 모든 문제를 해결하겠다는 의미였습니다. 이제 사람들은 그 의미를 이해하기 시작했습니다. 구체적으로 말하자면, 저는 과학 분야에서 제가 "루트 노드 문제"라고 부르는 것, 즉 획기적인 발견이 완전히 새로운 연구 분야를 열어줄 수 있는 영역을 해결하는 것을 의미합니다. 알파폴드는 저희가 하고자 하는 일의 프로토타입입니다. 전 세계 300만 명이 넘는 연구자, 거의 모든 생물학자들이 현재 알파폴드를 사용하고 있습니다. 제약 회사 임원인 친구들로부터 미래에 개발될 거의 모든 신약이 신약 개발 과정의 어느 시점에서든 알파폴드를 활용할 것이라는 이야기를 들었습니다. 저희는 이러한 성과를 자랑스럽게 생각하며, 이것이 바로 저희가 인공지능이 만들어낼 수 있기를 바라는 영향력입니다. 하지만 저는 이것이 단지 시작에 불과하다고 생각합니다.

인공지능이 도움을 줄 수 없는 과학이나 공학 분야는 생각나지 않습니다. 말씀하신 분야들은 거의 "알파폴드 1 단계"에 있다고 생각합니다. 결과는 고무적이지만, 해당 분야의 주요 과제들은 아직 완전히 해결되지 않았습니다. 재료 과학부터 수학에 이르기까지, 향후 2년 동안 이 모든 분야에서 이야기할 거리가 많을 것입니다.

게리 탄: 마치 프로메테우스처럼 인류에게 완전히 새로운 능력을 부여한 것 같습니다.

데미스 하사비스: 맞습니다. 물론 프로메테우스 이야기의 교훈처럼, 우리는 이 능력을 어떻게, 어디서, 그리고 같은 도구가 남용될 위험성에 대해서도 신중해야 합니다.

성공적인 경험

게리 탄: 여기 계신 많은 분들이 AI를 과학에 적용하는 회사를 창업하려고 노력하고 계십니다. 여러분 생각에 진정으로 과학 분야의 발전을 이끄는 스타트업과 기본적인 모델에 API를 덧씌운 후 스스로를 "과학을 위한 AI"라고 부르는 스타트업의 차이점은 무엇일까요?

데미스 하사비스: 오늘 여러분 자리에 앉아 Y Combinator의 프로젝트들을 살펴본다면 제가 무엇을 할지 생각해 봤습니다. 우선 AI 기술의 방향을 예측해야 하는데, 이는 본질적으로 어려운 일입니다. 하지만 저는 AI의 발전 방향과 다른 심층 기술 분야를 결합할 수 있는 엄청난 기회가 있다고 생각합니다. 재료 과학, 의학, 또는 원자 세계와 관련된 다른 난해한 과학 분야와 같은 이러한 교차점은 가까운 미래에 지름길이 없을 것입니다. 이러한 분야들은 다음번 근본적인 모델 업데이트로 인해 무너지지 않을 것입니다. 따라서 방어적인 방향을 찾는다면 저는 이러한 접근 방식을 추천합니다.

저는 항상 심층 기술에 매료되어 왔습니다. 진정으로 지속 가능하고 가치 있는 것은 쉽게 얻어지는 것이 아닙니다. 저는 늘 심층 기술에 끌렸습니다. 2010년에 사업을 시작했을 당시, AI는 심층 기술이었고, 투자자들은 "이건 성공하지 못할 거라는 걸 이미 알고 있다"고 말했으며, 학계에서는 90년대에 시도되었다가 실패한 틈새 분야로 여겼습니다. 하지만 자신의 아이디어에 확신이 있다면, 왜 이번에는 다른지, 어떤 독특한 배경을 가지고 있는지, 이상적으로는 머신러닝과 그 응용 분야의 전문가이거나 그러한 창업팀을 구성할 수 있다면, 엄청난 영향력과 가치를 창출할 수 있습니다.

게리 탄: 이 메시지는 중요합니다. 어떤 일이 이루어지고 나면 당연해 보일지 모르지만, 그 일이 완료되기 전에는 모든 사람이 당신에게 반대하는 것처럼 보일 수 있습니다.

데미스 하사비스: 맞아요, 정말 열정을 느끼는 일을 해야 하죠. 저는 무슨 일이 있어도 인공지능(AI) 연구를 할 거예요. 어렸을 때부터 AI가 제가 상상할 수 있는 가장 영향력 있는 분야라고 생각했거든요. 그리고 그 생각이 맞았다는 게 증명됐죠. 하지만 어쩌면 50년은 너무 이른 걸지도 모르겠어요. AI는 제가 상상할 수 있는 가장 흥미로운 분야이기도 하고요. 설령 지금도 작은 차고에서 AI를 연구하고 있고, AI조차 아직 개발되지 않았다고 해도, 저는 어떻게든 AI 연구를 계속할 방법을 찾을 거예요. 학계로 돌아갈 수도 있겠지만요.

게리 탄: 알파폴드는 방향을 제대로 잡고 올바른 선택을 한 사례입니다. 알파폴드와 같은 획기적인 성과를 내기에 적합한 과학 분야는 어떤 특징을 가지고 있을까요? 특정 목표 함수와 같은 공통적인 패턴이 있을까요?

데미스 하사비스: 언젠가 이 내용을 꼭 적어둬야겠어요. 알파고와 알파폴드를 포함한 모든 알파 프로젝트에서 얻은 교훈은 현재 기술이 다음과 같은 조건에서 가장 잘 작동한다는 것입니다. 첫째, 문제의 조합 탐색 공간이 엄청나게 커야 합니다. 크면 클수록 좋으며, 무차별 대입이나 특수 알고리즘으로는 해결할 수 없을 정도로 커야 합니다. 바둑의 수 공간이나 단백질의 구조 공간은 우주의 원자 수보다 훨씬 큽니다. 둘째, 단백질의 자유 에너지를 최소화하거나 바둑에서 이기는 것과 같이 목적 함수를 명확하게 정의할 수 있어야 시스템이 경사 하강법을 수행할 수 있습니다. 셋째, 충분한 데이터가 있거나 주어진 분포 내에서 대량의 합성 데이터를 생성할 수 있는 시뮬레이터가 있어야 합니다.

이 세 가지 조건이 충족된다면, 오늘날의 방법으로는 "건초 더미에서 바늘 찾기"와 같은 일을 해낼 수 있습니다. 신약 개발도 같은 논리를 따릅니다. 부작용 없이 질병을 치료할 수 있는 화합물이 존재하고, 물리 법칙이 허용하는 한, 유일한 문제는 그 화합물을 효율적이고 실현 가능한 방식으로 찾아내는 것입니다. 저는 알파폴드(AlphaFold)가 이러한 시스템이 방대한 탐색 공간에서 "바늘"을 찾아낼 수 있음을 최초로 입증했다고 생각합니다.

게리 탄: 더 높은 차원으로 넘어가고 싶습니다. 우리는 인간이 알파폴드를 만들기 위해 이러한 방법들을 어떻게 사용했는지에 대해 이야기하고 있지만, 더 심층적인 차원이 있습니다. 바로 인간이 AI를 사용하여 가능한 가설의 영역을 탐색하는 것입니다. AI 시스템이 (단순히 데이터에서 패턴을 찾는 것이 아니라) 진정한 과학적 추론을 할 수 있게 되려면 얼마나 멀리 와야 할까요?

데미스 하사비스: 거의 다 왔다고 생각합니다. 우리는 이러한 범용 시스템을 개발하고 있습니다. AI 공동 과학자라는 시스템과 알파이볼브(AlphaEvolve) 같은 알고리즘은 기본적인 제미니(Gemini)의 기능을 뛰어넘는 작업을 수행할 수 있습니다. 모든 주요 연구소들이 이 방향을 연구하고 있습니다.

하지만 개인적으로는 아직까지 이러한 시스템을 통해 진정으로 중요한 과학적 발견이 이루어지는 것을 보지 못했습니다. 하지만 곧 그런 일이 일어날 거라고 생각합니다. 아마도 앞서 논의했던 창의성과 관련이 있을 것이고, 우리가 알고 있는 것의 한계를 진정으로 뛰어넘는 발견이 될 것입니다. 그 수준에 도달하면 더 이상 패턴을 맞추는 것이 아닙니다. 왜냐하면 맞출 패턴 자체가 없기 때문입니다. 단순히 추론하는 것도 아니고, 일종의 유추적 추론이 필요한데, 제 생각에는 이러한 시스템들이 아직 그러한 능력을 갖추지 못했거나, 아니면 우리가 그것들을 제대로 활용하지 못하고 있는 것 같습니다.

제가 과학 분야에서 자주 언급하는 기준 중 하나는 단순히 가설을 검증하는 것이 아니라, 진정으로 흥미로운 가설을 제시할 수 있는지 여부입니다. 가설 검증은 리만 가설 증명이나 밀레니엄 상 문제 해결처럼 그 자체로 중대한 사건이 될 수 있지만, 어쩌면 우리는 불과 몇 년 안에 그러한 성과를 이룰 수 있을지도 모릅니다.

훨씬 더 어려운 일은 최고의 수학자들이 평생 연구할 가치가 있다고 여길 만한 심오한 새로운 밀레니엄상 문제를 제안하는 것입니다. 제 생각에는 그 난이도가 훨씬 더 높으며, 아직 그 방법을 알지 못합니다. 하지만 마법처럼 해결될 거라고 생각하지는 않습니다. 이러한 시스템들이 결국에는 해낼 것이고, 아마 한두 가지 부족한 점만 있을 뿐일 거라고 믿습니다.

이를 검증하는 한 가지 방법은 제가 종종 "아인슈타인 테스트"라고 부르는 것입니다. 1901년의 지식으로 시스템을 훈련시킨 다음, 그 시스템이 1905년에 아인슈타인이 발표한 특수 상대성 이론과 그 해에 발표한 다른 논문들을 포함하여 그 해의 연구 결과를 독립적으로 도출해낼 수 있는지 확인하는 것입니다. 저는 이 테스트를 실제로 실행하고, 반복적으로 시도하여 언제 성공할 수 있는지 확인해야 한다고 생각합니다. 만약 성공한다면, 이러한 시스템은 완전히 새로운 것을 발명하는 데 그리 멀지 않은 시점에 있는 것입니다.

창업 조언

게리 탄: 마지막 질문입니다. 여기 계신 많은 분들이 깊이 있는 기술적 배경을 가지고 계시고, 여러분과 비슷한 규모의 일을 하고 싶어 하십니다. 여러분은 세계 최대 규모의 AI 연구 기관 중 하나입니다. 인공 일반 지능(AGI) 연구의 최전선에서 일해 오셨는데, 지금은 알고 있지만 25살 때 알았더라면 좋았을 만한 것이 있다면 무엇일까요?

데미스 하사비스 : 사실 그 부분에 대해서는 이미 이야기했었죠. 어려운 문제를 추구하는 것과 쉬운 문제를 추구하는 것은 사실상 난이도가 비슷하지만, 그 어려움이 나타나는 방식이 다를 뿐입니다. 각기 다른 일들이 각기 다른 종류의 어려움을 안겨주죠. 하지만 인생은 짧고 에너지는 한정되어 있으니, 당신이 하지 않으면 아무도 하지 않을 일에 당신의 에너지를 투자하는 게 어떻겠습니까? 그것을 당신의 선택 기준으로 삼아 보세요.

또 한 가지는 향후 몇 년 안에 학제 간 협업이 더욱 보편화될 것이며, 인공지능이 이러한 협업을 더욱 용이하게 만들어 줄 것이라는 점입니다.

마지막으로, 여러분의 인공 일반 지능(AGI) 구현 시점에 따라 달라집니다. 제 시점은 대략 2030년입니다. 오늘날 첨단 기술 프로젝트를 시작한다면 보통 10년 정도의 여정이 필요합니다. 그리고 계획 기간 중간에 AGI가 등장할 가능성도 고려해야 합니다. 이것이 무엇을 의미할까요? 반드시 나쁜 것은 아니지만, 반드시 염두에 두어야 합니다. 여러분의 프로젝트가 AGI를 활용할 수 있을까요? AGI 시스템은 여러분의 프로젝트와 어떻게 상호작용할까요?

알파폴드와 범용 인공지능 시스템의 관계에 대해 다시 이야기하자면, 제가 예상하는 시나리오 중 하나는 제미니, 클로드 또는 이와 유사한 시스템과 같은 범용 시스템이 알파폴드와 같은 특수 시스템을 도구로 활용하는 것입니다. 모든 것을 하나의 거대한 "두뇌"에 집어넣을 수는 없을 거라고 생각합니다. 제미니는 단백질 접힘을 수행할 필요가 없으므로 모든 단백질 데이터를 제미니에 집어넣는 것은 무의미합니다. 정보 효율성에 대한 당신의 지적을 다시 언급하자면, 단백질 데이터는 분명히 제미니의 언어 능력을 저해할 것입니다. 더 나은 접근 방식은 특수 도구를 호출하고 심지어 학습시킬 수도 있는 매우 강력한 범용 도구를 사용하는 모델을 구축하되, 특수 도구는 독립적인 시스템으로 유지하는 것입니다.

이러한 사고방식은 오늘날 여러분이 구축하는 모든 것, 즉 공장 유형이나 금융 시스템 선택에 영향을 미치기 때문에 깊이 생각해 볼 가치가 있습니다. 인공 일반 지능(AGI)의 도래 시점을 진지하게 고려하고, 그 세상이 어떤 모습일지 상상한 다음, 그 세상이 도래했을 때도 여전히 유용한 것을 만들어야 합니다.