출처: 블룸버그

정리: Felix, PANews

블룸버그가 최근 Anthropic CEO 다리오 아모데이(Dario Amodei)와 인터뷰를 진행하여, 그의 샌프란시스코 창업 여정, OpenAI와의 경쟁, 그리고 AI의 궁극적인 목표에 대해 논의했습니다.

PANews가 인터뷰의 핵심 내용을 정리했습니다.

진행자: 지금 AI 세계의 중심에 서 계신데요. 어떤 느낌인가요?

다리오: 제 경력 전체, 특히 Anthropic에서의 이 기간 동안 저는 매끄러운 지수 곡선을 경험했습니다. 이 완만한 지수 곡선의 경험이란 바로: 아무 일도 없다, 아무 일도 없다, 작은 일이 생긴다, 그러다 '쉭' 하고 미친 듯이 성장하는 것입니다. 이것이 세상의 경험이자, 다른 회사 및 세상과 비교한 회사 규모의 경험입니다. 저는 이 차트를 오랫동안 관찰해왔고, "아마 이 시점에 우리가 가장 높은 수익과 기업 가치를 가진 AI 회사가 될 것"이라고 말했는데, 실제로 그렇게 되었습니다. 그래서 한편으로는 놀랍지 않습니다. 차트상으로는 완만한 선이었으니까요. 하지만 다른 한편으로, 일이 실제로 벌어지면 훨씬 더 많은 디테일과 생생함을 보게 되고, 이는 정말 놀랍습니다. 우리는 항상 가장 근본적인 질문들을 잊지 말아야 합니다. 어떻게 좋은 모델을 훈련시킬 것인가? 어떻게 그것들을 좋은 제품에 적용할 것인가? 어떻게 안전을 보장할 것인가? 어떻게 사람들을 도우면서 기술이 가져오는 사회적 위험을 관리할 것인가? 모든 것이 똑같은 질문이지만, 단지 더 큰 현미경 아래에서 조명되고 있을 뿐입니다.

진행자: 샌프란시스코에서 자라셨는데, 어린 시절은 어땠나요? 아버지가 가죽 공예가이시고 어머니가 도서관에서 일하셨다고 들었습니다. 어떤 영향을 받았나요?

다리오: 당시 제 주변에서는 1차 인터넷 혁명이 일어나고 있었지만, 저는 전혀 관심이 없었습니다. 저는 수학 문제 풀기, 낙서하기, 우주와 공상 과학 소설을 이해하는 데만 관심이 있었습니다. 그것이 당시 제 전체 환경이었고, 저는 세상에 대한 호기심으로 가득 차 있었습니다.

진행자: 이 기술 중심 도시에서 자랐고, 지금은 AI의 중심지이기도 합니다. 이 도시가 당신의 세계관에 어떤 영향을 미쳤나요?

다리오: 이곳에 널리 퍼져 있는 기존 관습에 얽매이지 않는 태도, 개인주의, 그리고 '미쳐도 괜찮다'는 정신이 저에게 확실히 영향을 미쳤습니다. 유럽이나 심지어 이 나라의 다른 지역에 가면, 다른 방식으로 생각하거나 엉뚱한 아이디어를 내는 것이 장려되지 않거나 오히려 이상하게 여겨지기도 합니다. 실리콘밸리에 대해 비판할 점이 많지만, 한 가지 좋은 점은 바로 이것입니다. 모든 전문가가 반대해도 괜찮고, 세상에 대한 일관된 비전이 있다면 그것을 추구해야 한다는 것입니다. 아마 완전히 실패할 수도 있지만, 성공한다면 롱테일 효과를 만들어내어 어떤 광맥에서 거대한 금광을 발견할 수도 있습니다. 저는 이런 정신이 매우 중요하다고 생각합니다.

진행자: OpenAI를 떠나기로 한 결정은 실리콘밸리의 전설이 되었습니다. 실제로 무슨 일이 있었나요? 외부 소문 외에, 실제 문제는 무엇이었나요? 어떤 점에서 의견이 달랐나요?

다리오: 간단히 말씀드리죠. 강력한 기술을 개발할 때는 많은 어려운 문제에 직면하게 됩니다. Anthropic도 매일 결정이 옳은지 그른지 알 수 없는 난제들을 마주합니다. 그래서 안전 문제에 있어 합리적인 의견 차이는 많으며, 실제로 그들과 그런 차이가 있었습니다. 하지만 그 자체만으로는 떠날 이유가 되지 못했습니다. Anthropic 내에서도 사람들이 저와, 혹은 서로 간에 의견 차이를 보입니다. 그러나 누군가를 신뢰할 수 없다고 느낄 때, 그들의 가치관이 말하는 것과 다르다고 느낄 때, 그들이 정직하지 않고 그들이 주장하는 동기로 행동하지 않는다고 느낄 때, 불편한 기만 행동 패턴을 목격할 때, 그 회사와 계속 협력하고 신뢰하기는 어렵습니다. 결국, 서로 비전이 다르고 서로를 신뢰하지 않는다면, 왜 논쟁을 계속하겠습니까? 해결책은 각자의 길을 가는 것입니다. 저는 우리가 우리 방식대로 하고 그들이 그들의 방식대로 하는 것을 전적으로 평온하게 받아들입니다. 시장에서 누가 이기고, 여론에서 누가 이기는지 지켜보자는 거죠. 그것이 누가 떠났는지에 대한 어떤 극적인 가십보다 훨씬 더 설득력이 있습니다. 우리는 이 기술을 책임감 있게 배포하는 방법에 대한 예시를 보여주고 있습니다. 그들이 동의하지 않는다면, 그들의 논거를 제시하면 됩니다. 제가 할 말은 그게 전부라고 생각합니다.

진행자: 인도 AI 서밋에서 당신과 샘 알트만(Sam Altman)이 무대에서 손을 잡는 것을 거부한 것처럼 보였습니다. 거기서 무슨 일이 있었나요?

다리오: 실제 상황은 그 서밋이 극도로 무질서했다는 것입니다. 우리 모두 마지막 순간에 무대에 올랐고, 그들이 갑자기 우리의 서는 순서를 바꾸고 사진을 찍은 다음, 갑자기 우리 모두에게 손을 잡으라고 명령했습니다. 국가 원수들이 참석하는 이런 국제 서밋에 가보셨다면, 그런 행사들이 종종 엄청나게 혼란스럽다는 것을 아실 겁니다(특별히 인도를 겨냥한 말은 아닙니다).

진행자: 하지만 다른 사람들은 모두 손을 잡았습니다.

다리오: 어떻게 설명해야 할지 모르겠네요. 그냥 나렌드라 모디(Narendra Modi) 총리가 갑자기 무대에서 모두 손을 잡으라고 한 겁니다.

진행자: 알겠습니다. 샘과 일론(Elon)은 서로 소송 중입니다. 당신은 샘을 좋아하지 않습니다. 세상에서 가장 중요한 기술을 만드는 사람들이 무대에서 손조차 잡을 수 없다면, 인류 생존의 위험에 대해 여러분이 협력할 것이라고 어떻게 신뢰할 수 있나요?

다리오: 제가 말씀드리고 싶은 것은, 이 기술을 구축하는 사람들 사이에는 자질과 신뢰성 측면에서 엄청난 차이가 존재한다는 것입니다. '누구도 서로를 신뢰하지 않는다'는 식의 말은 사실이 아닙니다. 저는 Gemini 모델을 개발하는 데미스 하사비스(Demis Hassabis)를 15년 동안 알아왔습니다. 그들은 Claude 모델의 경쟁자이지만, 우리는 많은 문제에서 협력해왔습니다. 우리는 구글(Google)에서 컴퓨팅 파워를 구매하고, 안전에 관한 아이디어도 자주 교환합니다. 그래서 제 생각에, 첫째, 어떤 참여자들은 다른 이들보다 확실히 더 신뢰할 만합니다. 둘째, Anthropic 외부에도 제가 신뢰하는 참여자들이 있습니다. 제 생각에 필요한 것은, 신뢰할 수 있는 참여자들이 단결하여 신뢰할 수 없는 참여자들이 어쩔 수 없이 동일한 기준을 채택하도록 만드는 상황을 조성하는 것입니다. 제 경험상, 어떤 사람들은 스스로 올바른 일을 하지 않지만, 업계 대다수가 올바른 일을 하고 있다면 다른 사람들에게는 선택의 여지가 별로 없습니다. 여기에는 두 가지 측면이 있습니다. 긍정적인 측면은 서로에게 영감을 주는 것(즉, 경쟁을 통한 상향 평준화)입니다. 예를 들어 데미스가 Alpha Fold를 만들어 우리에게 영감을 주었고, 우리는 생물학 연구를 하며, 우리의 설명 가능성 연구가 그들에게 영감을 주었습니다. 이는 제로섬 경쟁이 아닙니다. 이것이 경쟁의 긍정적인 '당근' 측면입니다. 반면 '채찍' 측면은, 올바른 일을 하지 않으면 매우 나빠 보이게 된다는 것입니다. 그들은 아마도 마지못해 올바른 일을 하면서도 다른 일을 하는 척하거나, 심지어 우리에게 무언가 음흉한 의도가 있다고 생각할 수도 있습니다. 이는 예상되는 일이지만, 바로 이것이 업계를 단결시키고 협력하게 만드는 방식입니다.

진행자: 초기에 다른 사람들은 재미있고 눈에 띄는 소비자용 애플리케이션에 집중했지만, 당신은 코딩과 기업용 시장에 베팅했습니다. Claude Code와 Claude Cowork는 매우 성공적이었습니다. 왜 이런 베팅을 한 건가요? 가치관에 따른 결정인가요, 아니면 비즈니스적 결정인가요?

다리오: 우리가 Anthropic을 설립했을 때 가장 기본적인 것은 올바른 방식으로 일을 하고 싶다는 것이었습니다. 하지만 극도로 비싼 모델 생성을 자금 지원하려면 비즈니스 모델이 필요했습니다. 만약 비즈니스 모델이 근본적으로 가치관과 충돌한다면, 매우 어려워집니다. 가치관을 배신하거나, 아니면 무의미해지거나 둘 중 하나를 선택해야 하죠. 가치관과 양립할 수 있는 비즈니스 모델을 선택하는 것이 훨씬 낫습니다. 우리는 소셜 미디어와 소비자 세계를 살펴보았는데, 그곳은 종종 사용자 참여도나 심지어 중독을 부추겨(우리가 목격한 AI 비디오 모델의 혼란처럼) 광고 수익을 얻기 위해 사용자 체류 시간만을 극대화하려 합니다. 반대로 기업용 시장에서는 AI를 사용하여 이전에는 치료할 수 없었던 질병을 치료하고(생명공학, 제약, 학술 기관과 협력), 에너지를 더 저렴하고 효율적으로 만들고, 교육과 비영리 단체를 돕고, 경제 성장을 촉진하고자 합니다. 이들은 본질적으로 모두 기업용 애플리케이션입니다. 또 다른 요인은 기업들이 신뢰와 장기적인 관계를 매우 중요하게 생각한다는 점입니다. 소비자용은 때때로 눈속임 성격을 띠지만, 기업용 시장은 수년간 신뢰를 쌓고 약속한 것을 제공해야 합니다. 이는 우리가 적극적이고 안전한 방식으로 모델을 배포하려는 목표와 매우 시너지 효과가 좋습니다.

진행자: 개발자는 오후 한나절이면 Claude에서 ChatGPT나 Gemini로 전환할 수 있습니다. 이 업계에서 장기적인 선두 지위를 유지하는 것이 정말 가능할까요? 강력한 경쟁자가 여러분이 구축한 것을 복제하는 데 얼마나 걸릴까요?

다리오: 모델 품질이 가장 중요합니다. 우리는 현재 모델 품질에서 크게 앞서 있습니다. 어느 정도의 전환 관성은 존재하지만, 저는 (그리고 Anthropic은) 사람들이 전환하지 못하도록 제품의 '락인 효과'에 의존한 적이 없습니다. 더 나은 모델, 더 나은 제품을 가져야 합니다. 우리는 성장률이 전혀 꺾이거나 하락하는 것을 보지 못했습니다. 적어도 이 인터뷰를 녹화하는 시점에는, 변화가 있다면 오히려 상승하고 있습니다. 그래서 저는 모델 품질이 가장 중요한 요소라고 생각하는 경향이 있습니다.

진행자: Claude Cowork 출시 직후, 시장에서 2,850억 달러의 시가총액이 하룻밤 사이에 증발했고, 트레이더들은 이를 'SaaSpocalypse(SaaS 종말)'라고 불렀습니다. AI가 이 속도로 계속 발전한다면, 얼마나 많은 전통적인 소프트웨어가 대체될 것이며, 그 속도는 얼마나 빠를까요?

다리오: 이를 미리 정확하게 예측하기는 어렵습니다. 모든 전통적인 소프트웨어 회사들은 각자의 진입 장벽를 가지고 있습니다. 그중 일부 해자는 사라지겠지만, 다른 것들은 유지될 것입니다. '복잡한 소프트웨어를 빠르게 작성하는 능력'은 해자로서 확실히 사라질 것이며, 더 이상 이것에 의존하여 방어할 수 없습니다. 하지만 고객 관계, 산업 운영 지식, 독특한 도메인 전문 지식은 여전히 중요합니다. 저는 이 회사들에게 이렇게 조언합니다. 자만하지 말고, 자신의 모든 해자를 나열하고, 어떤 것이 사라지고 어떤 것이 강화될지 파악하십시오. 새로운 해자도 나타날 것이기 때문입니다. 유연하게 대처하는 사람들은 잘 해낼 것이고, 자기기만에 빠져 과거의 경험에 안주하는 사람들은 힘든 시간을 보낼 것입니다. 전반적으로, 비록 큰 패자가 분명히 있겠지만, 소프트웨어 산업은 더 작아지기보다는 더 커질 것이라고 생각합니다.

진행자: 그 점을 설명해 주세요.

다리오: '파이'가 커지고 있기 때문입니다. AI가 산업의 천장을 10배 높인다면, 기존 기업들은 전체 파이에서 차지하는 상대적 점유율은 작아지더라도 쉽게 1.5배 성장할 수 있습니다. 하지만 적응하지 못하고 현실을 외면하는 사람들은 힘든 시기를 겪거나 심지어 문을 닫게 될 것입니다.

진행자: 여러분의 가장 큰 후원자는 아마존, 구글, 마이크로소프트, 엔비디아 같은 회사들입니다. 그들은 모두 각자의 의제를 가지고 있으며, 파트너이자 경쟁자입니다. 여러분의 거대한 비즈니스 이정표가 자금 조달과 연계되어 있는데, 실제로 누가 결정권을 쥐고 있나요?

다리오: 많은 경우에 우리는 우리의 진정한 생각을 솔직하게 말해왔습니다. 우리 모두 성인이고, 서로 다른 의견을 인정하며, 어떤 일에서는 협력하고 다른 일에서는 의견이 다를 수 있습니다.

진행자: 여러분의 기업 가치가 OpenAI보다 높다는 보도가 있습니다. 설립 5년 차 스타트업으로서 기업 가치가 거의 1조 달러에 육박합니다. 이 숫자를 어떻게 이해하고 계신가요? 컴퓨팅 파워 사용에 더 절제되고 수익 창출 경로도 더 빠르다면, 왜 그렇게 많은 자금이 필요한가요?

다리오: 컴퓨팅 파워에 대한 수요는 매우 빠르게 증가하고 있습니다. 비즈니스 펀더멘털은 좋지만, 1년 안에 필요한 컴퓨팅 파워가 3~4배로 늘어날 수 있을 정도로 성장 속도가 매우 빠릅니다. 우리는 수익 성장이 이러한 컴퓨팅 파워 성장을 따라잡거나 능가할 것이라고 전적으로 기대합니다. 자금 조달은 이러한 불확실성이 가져오는 영향을 완충하기 위한 것이며, 이는 매우 합리적이고 회사의 지분 희석도 매우 적습니다. 이것은 결코 비즈니스 펀더멘털에 문제가 있다는 신호가 아닙니다.

진행자: 주요 경쟁자를 능가하는 기분이 좋나요?

다리오: 우리 앞에는 아직 많은 어려운 도전 과제들이 있습니다. 우리는 '경쟁을 통한 상향 평준화(race to the top)' 이념을 추진하며, 다른 회사들이 우리와 함께 나아가도록 이끌려고 노력하고 있습니다. 때때로 그들이 인정하지 않거나, 한편으로는 우리를 공격하면서 다른 한편으로는 우리를 모방하기도 하지만, 이러한 견인 효과는 매우 가치가 있습니다. 선도 기업이 되는 것의 가치는 단순히 경쟁자를 물리치는 데 있는 것이 아니라, 전체 생태계를 이끌어갈 수 있는 능력에 있습니다.

진행자: 하지만 이기는 게 기분이 더 좋아야 하지 않나요.

다리오: 물론 우리는 항상 성공하려고 노력하며, 실패하고 싶지 않습니다. 저는 이 기술을 차단해야 한다고 생각하지 않습니다. 우리는 자유 기업 시스템 안에서 경쟁하며, 모델의 위험을 완화하기만 하면 됩니다. 우리는 항상 두 극단 사이에서 균형을 찾고 있습니다.

진행자: 귀사의 제품 개발 속도는 정말 놀랍습니다. 어떻게 그렇게 할 수 있나요?

다리오: 두 가지 이유가 있습니다. 첫째, 우리는 통일된 문화와 조직 효율성을 갖추고 있어 모두가 같은 방향으로 나아갑니다. 둘째, 바로 Claude 자체입니다. 우리는 현재 Claude를 사용하여 모델과 제품 개발을 돕고 있으며, 이를 통해 더욱 효율적으로 작업하고 있습니다. 이는 상당하고 점점 더 신뢰할 수 있는 가속 효과를 만들어내고 있습니다.

진행자: AI가 한 가장 놀라운 일은 무엇인가요?

다리오: 모두 생물학과 의학 분야입니다. Claude가 고급 의사들이 놓친 의료 문제를 진단하는 것을 여러 번 보았습니다. 생물학 분야에서 모델은 약물 설계나 계산 화학에서 놀라울 정도로 뛰어나지기 시작했습니다. 전직 생물학자로서, 그것이 얼마나 높은 수준의 전문 훈련을 필요로 하는지 잘 압니다. 이것이 AI의 거대한 긍정적 측면이며, 인류의 삶의 질을 크게 향상시킬 것입니다. 1900년부터 지금까지의 100년간 과학 발전을 상상해보고, 그런 100년의 진보가 한 번 더 일어난다면 어떨지 상상해 보세요. 우리가 지금의 도전을 잘 헤쳐 나간다면, 훨씬 더 나은 세상을 갖게 될 것입니다.

진행자: 글쓰기를 좋아하시는 것으로 알고 있습니다. Claude에게 글을 대신 써 달라고 하나요?

다리오: 네, 하지만 아직 완성된 텍스트를 직접 쓰게 하지는 않습니다. 특정 스타일에 대해 다소 까다롭기 때문입니다. 저는 주로 Claude를 브레인스토밍, 주제 정리, 또는 참고 문헌 제공에 사용합니다. 지금은 지원 역할을 하고 있으며, 저보다 글을 더 잘 쓰는 수준까지는 아직 거리가 있지만, 머지않아 그렇게 될 것입니다.

진행자: 글쓰기는 생각을 정리하는 데 도움이 되고 많은 비판적 사고를 포함합니다. Claude에게 맡기면 이런 사고 능력을 잃게 될까요?

다리오: 저는 이 점에 대해 확실히 약간 걱정됩니다. 제가 계속 글을 쓰는 이유는 절반은 독자를 위해서지만, 나머지 절반은 제 생각을 정리하기 위해서이기도 합니다. 단순히 "AI 위험에 관한 기사"를 써 달라고 요청한다면, 이는 제가 진정으로 표현하고 싶은 내용을 써낼 수 없을 뿐만 아니라, 그런 사고의 이점도 잃게 할 것입니다. 미래에는 모델이 더 나아짐에 따라, 모델을 더 직접적으로 활용하면서도 사고의 이점을 보존할 수 있는 미묘한 사용 방식을 찾아야 할 수도 있습니다.

진행자: 당신은 실직에 대해 솔직하게 말하며, AI가 1~5년 안에 초급 화이트칼라 일자리의 절반을 없앨 수 있다고 예측했습니다. 그게 1년 전 일인데, 지금 그 비율은 50%인가요, 아니면 더 높아졌나요?

다리오: 원래 전체 영상을 보시면, 제 실제 발언은 이렇습니다. 무슨 일이 일어날지 모르지만, 이것은 상황이 얼마나 엄청날지 가늠하는 규모를 나타낸다는 것입니다. 하지만 사람들은 항상 그 3초짜리 "종말이 다가온다"는 부분만 편집하려는 심리적 경향이 있으며, 제가 동시에 논의한 모든 대응 해결책(토큰 세금, 기업 조정, 거시 경제 정책 등)은 무시합니다. 제 메시지는 결코 "종말이 다가온다"가 아니라, 우리가 미리 보고, 주목하고, 적극적으로 대응해야 한다는 것입니다. 단기적으로 AI는 사람들을 더 효율적으로 만들겠지만, 이는 과도기적 단계일 뿐입니다. 자동화 역사에서 보아왔듯이, AI는 결국 이 부분의 일자리를 대체할 수 있습니다. Anthropic의 소프트웨어 엔지니어를 예로 들면, 현재 AI가 대부분의 코드를 작성하여 효율성을 높여주지만, 특정 작업은 아예 AI가 직접 수행하는 것이 더 나은 경우도 나타나기 시작했습니다. 다른 한편으로는, 기술과 고객 커뮤니케이션 능력을 겸비한 '응용 AI 솔루션 아키텍트(현장 배포 엔지니어)'와 같은 새로운 수요도 창출하고 있습니다. 일자리의 파괴와 조정은 동시에 일어날 것입니다.

진행자: 잠재적인 일자리 파괴, 어떤 것이 사라지고 어떤 것이 생겨날지 보여주는 차트를 발표하셨는데요.

다리오: 이것은 주식 시장을 예측하는 것처럼 정확히 예측하기 어렵습니다. 하지만 전반적으로 초급 화이트칼라 직종(은행, 금융 등)이 AI로 대체될 가능성이 매우 높습니다. 기업 고객과 소통할 때, 그들이 비용 절감을 위해 감원할지, 아니면 동일한 자원으로 더 많은 새로운 일을 할지 선택의 기로에 서 있다는 것을 발견합니다. 우리는 항상 그들이 '긍정적 합 게임'으로 가도록 유도하려 합니다. 즉, 효율성 향상을 활용해 감원 대신 더 많은 일을 하도록 하는 것입니다. '파이'가 커짐에 따라 사람들은 새로운 곳으로 이동할 수 있으며, 이는 적응 속도를 찾는 문제입니다. 파괴의 규모가 매우 클 것이기 때문에 저는 사람들에게 경고하려는 것입니다.

진행자: 그렇게 높은 수준의 실업률이 발생한다면, 그것이 혁명이 일어나는 원인이 되지 않을까요?

다리오: 그것은 우리가 절대적으로 피하고 싶은 결과입니다. 몇 가지 분야에는 기회가 남아 있을 것이라고 생각합니다. 하나는 물리적 세계입니다(로봇의 발전 속도가 AI 정보 처리 속도보다 느리기 때문에 제조업과 건설업에는 여전히 많은 인력이 필요합니다). 다른 하나는 모든 인간 중심의 직업입니다. AI가 의사보다 더 정확하게 진단하거나 고객 서비스를 더 잘 수행하더라도, 사람들은 여전히 중요한 문제에 대해 다른 인간과 대화하고 관계를 맺기를 원하고 필요로 합니다. 또한 인간은 AI의 가치관과 의도를 이끄는 역할을 계속 유지할 것입니다.

진행자: 당신의 견해에 반대하는 사람들이 많습니다. 젠슨 황은 당신이 '작업'과 '직업'을 혼동하고 있다고 말했고, 어떤 사람들은 이것이 Anthropic에 유리한 '종말 마케팅'이라고 합니다.

다리오: 이 점을 분명히 반박하고 싶습니다. 우리는 보고서와 논문에서 작업과 직업의 차이점, 이번이 왜 다른지 자세히 설명하는 데 5페이지를 할애했으며, 민간 및 정부를 아우르는 6가지 해결책을 제시했습니다. 하지만 실리콘밸리와 소셜 미디어의 병폐는 게으름이라고 생각합니다. 사람들은 1년 전의 3초짜리 짧은 영상만 보고 무책임하게 논평합니다. 진지한 지적 노동을 '값싼 마케팅'이라고 부르는 것 자체가 진지한 논의를 거부하는 값싼 마케팅이자 극도로 게으른 행동입니다.

진행자: 세계 최고의 AI 회사로서, 귀사는 미국 국가 안보의 여러 영역에 깊이 관여하고 있습니다. 칼텍 시절부터 오랜 반전 입장을 견지해 왔지만, 국방부와 기밀 네트워크 운영 계약을 체결한 최초의 AI 회사 중 하나입니다. 설명해 주시겠습니까?

다리오: 이유는 세상이 변하고 있기 때문입니다. 러시아의 우크라이나 침공을 보았을 때, 권위주의 블록의 부활이 걱정되었습니다. 우리는 스스로를 방어해야 합니다. 상대방이 AI를 사용하여 정보를 분석하고 우크라이나를 공격하는데 우리는 방어할 수 없는 상황을 절대 원하지 않습니다. 그래서 우리는 여러 정부 부처에 걸쳐 지원을 제공하고 있습니다. 그런데 이 일은 결코 돈을 위해서가 아닙니다. 정부 네트워크에서 운영하는 것은 사실 큰 골칫거리이고 이익도 거의 없습니다. 바로 우리가 '관심'을 가지고 있기 때문에 하는 일이므로, 기술 사용에 대한 명확한 제한과 레드라인이 있어야 합니다. 즉, 대규모 감시와 완전 자율 무기 개발은 할 수 없습니다. 경쟁에서 이기기 위해 우리의 민주적 가치를 포기한다면, 그것 또한 가치 없는 일입니다. 이것이 우리가 견지하는 균형과 입장입니다.

진행자: 2024년부터 Palantir와 협력하기 시작했는데, 그들의 기술은 미국 이민세관단속국(ICE), 경찰 부서, 심지어 가자 지구에서도 사용됩니다. Claude가 감시에 사용되고 있나요?

다리오: 우리는 ICE 및 CBP와 직접적으로든 Palantir를 통해서든 협력하지 않습니다. 제가 알기로는 가자 지구에서도 사업을 운영하지 않습니다. 우리는 참여 범위를 우리가 동의하는 가치관 내로 매우 신중하게 제한합니다.

진행자: 그래서 당신은 레드라인을 그었고, 대통령은 귀사의 특정 연방 정부 허가를 금지했으며, 국방부는 귀사를 공급망 위험으로 분류했고, OpenAI가 개입하여 귀사가 서명하지 않은 계약을 체결했습니다. 이 싸움에서 이긴다는 것은 정확히 어떤 모습인가요?

다리오: 저는 이것을 '승패'를 논하는 싸움이라고 생각하지 않습니다. 이것은 정부가 AI를 어떻게 합리적으로 사용해야 하는지에 대한 사회적 논쟁입니다. 우리는 우려되는 시나리오에 대한 사용 선례를 만들기 위해 노력하고 있으며, 이 문제에 대한 관심을 불러일으켰습니다. 의회에서 고위험 응용 프로그램을 금지하고 안전장치를 설정하려는 초당적 노력이 나타나는 것을 보았습니다. 굳이 승리를 말하자면, 우리 국가가 신기술의 적절한 사용 경계에 대해 더 신중하게 생각하도록 촉구하는 것, 그것이 바로 승리입니다.

진행자: 어떤 사람들은 당신을 그렇게 큰 권력을 가져서는 안 될 이념적 광신자, 혹은 좌파 과격분자라고 묘사합니다. 신경 쓰이나요?

다리오: 저는 자주 욕을 먹으며, 그것보다 훨씬 심한 말도 들었습니다. 사람들이 저와 Anthropic을 뭐라고 부르든 상관없습니다. 제가 신경 쓰는 것은 단 두 가지뿐입니다. 회사가 성공하는 것, 그리고 우리가 우리의 가치를 지키는 것입니다. 사실 이것이 제 삶을 매우 단순하게 만듭니다. 저는 항상 제 입장을 분명히 알고 있습니다.

진행자: AI 전쟁은 제3차 세계대전을 막을 가능성이 더 높나요, 아니면 촉발할 가능성이 더 높나요?

다리오: 전반적으로 막을 가능성이 더 높습니다. 하지만 사용 제한이 없다면 전쟁을 촉발할 가능성도 있습니다. 적절한 규제가 없다면, 양측이 오해로 인해 충돌을 일으키기 쉽습니다. 정보 수집 및 대응 능력에서 압도적인 우위를 점한다면, 상대방은 행동을 개시하기 전에 재고할 것입니다. 우월한 지능은 효과적으로 충돌을 억제할 수 있습니다.

진행자: Anthropic은 거의 매주 헤드라인을 장식하는데, 최근에는 Mythos 모델에 관한 것이었습니다. Mythos가 너무 강력해서 대중에게 공개할 수 없다고 말씀하셨는데요. 그것에 대해 가장 놀라웠던 점은 무엇인가요?

다리오: 가장 놀라웠던 점은 취약점을 발견할 뿐만 아니라, 그 취약점을 실질적인 공격 도구로 전환할 수 있다는 능력의 거대한 도약이 나타났다는 것입니다. 초기 테스트를 진행한 일부 회사들은 우리에게 이 모델을 공개하지 말라고 요청하기도 했으며, '슈퍼 무기'라고 부르며 사용하려면 총기 소지 허가증 같은 것이 필요하다고 생각했습니다. 우리가 대중에게 공개하지 않는 것은 영원히 잠그려는 것이 아니라, 현재의 네트워크 방어 메커니즘이 여전히 '탈옥'에 쉽게 뚫리기 때문입니다. 우리는 방어 메커니즘이 이에 대응할 수 있다는 충분한 확신이 들 때까지 기다렸다가, 강력한 안전장치와 함께 공개할 것입니다.

진행자: 하지만 외부에서는 많은 반대 의견이 있습니다. 일부 연구원들은 더 저렴한 오픈 소스 모델로 이를 복제할 수 있다고 주장하고, 또 다른 사람들은 이것이 완전히 거창한 홍보 및 마케팅 수단이라고 말합니다. 어떻게 답변하시겠습니까?

다리오: 오픈 소스 모델로 복제할 수 있다는 주장은 극도로 터무니없습니다. Mythos 모델은 Firefox 브라우저에서 271개의 새로운 취약점을 발견했고, 공개하기 어려운 많은 민간 기업에서 수천 개의 새로운 취약점을 발견했지만, 이전 모델들은 이를 전혀 찾지 못했습니다. 트위터에서 오픈 소스 모델로 복제할 수 있다고 말한 그 사람은, 우리가 코드의 어느 줄에 문제가 있는지 지적한 후에야 오픈 소스 모델로 그 코드 줄을 다시 찾아낸 것뿐입니다. 이것은 전혀 같은 일이 아닙니다.

'마케팅'이라는 주장에 대해서는, 이 초강력 모델을 공개하지 않는 것은 상업적으로 막대한 손실을 초래했습니다. 이 모델은 내외부 연구 개발을 크게 가속화할 수 있었을 것입니다. 이것이 방어자에게 도움이 된다면, 공격자에게도 동등하게 도움이 됩니다. 그래서 우리의 현재 전략은 먼저 방어 측에 제공하여 시스템 취약점을 패치하도록 하는 것입니다. 일단 모든 취약점 '구멍'이 메워지면, 미래의 인터넷 생태계는 극도로 안전해질 것입니다. X(트위터)에서 저격하고 역이용하는 사람들(일부 경쟁사 포함)은 사회 전체의 위험 트레이드오프를 진지하게 고려하지 못하는 것이며, 이는 극도로 미성숙한 행동입니다.

진행자: 완전히 만족스럽지 않은 트레이드오프를 한 적이 있나요?

다리오: Anthropic의 전체 역사는 트레이드오프로 가득 차 있습니다. 이상적인 세상이라면, 챗봇의 모든 위험 요소를 연구하는 데 수년을 보낸 후 출시할 수도 있을 것입니다. 실제로 우리는 Claude의 초기 버전을 몇 달 연기하기는 했지만, 모든 것은 여전히 트레이드오프입니다. 현재 우리는 상업적으로 선도적인 위치에 있으며, 다니엘라와 저는 지침을 '신중한 행동' 쪽으로 더 옮기기 위해 가능한 모든 노력을 기울이고 있습니다. 이것이 바로 Mythos 공개를 제한하는 원래 의도이며, 선도적인 플레이어가 아니라면 그러한 결정을 내리기가 매우 어렵습니다.

다리오: 매우 심각한 우려입니다. 역사를 통틀어 전례 없이 강력한 모든 기술(핵무기, 인터넷, GPS, 휴대전화)은 처음에 정부와 연방 연구소에서 탄생했습니다. AI는 완전히 민간 부문에서 구축되고 정부 개입이 늦어진 최초의 기술이며, 이러한 상황은 사실 위험하고 불안정합니다. 하지만 현재 정부가 개입하지 않을 때의 위험이 민간 부문이 주도할 때의 위험보다 실제로 더 큽니다. 그래서 우리는 권력의 견제와 균형이 필요합니다. 우리는 '장기 이익 신탁 기금'을 설립했고, 이들은 대부분의 이사를 해임하거나 심지어 저를 해고할 권한을 가지며, 이는 공공 거버넌스 요소를 도입한 것입니다.

정부 차원에서는 입법부와 사법부가 의무적인 출시 전 테스트와 레드라인 규제를 시행해야 합니다. 저는 기업이 이를 통제하는 것도, 정부가 독점하는 것도 두렵습니다. 양측은 반드시 상호 견제해야 합니다. 매우 우스운 점은, 실리콘밸리에는 어떤 규제나 심지어 투명성 요구에도 극단적으로 반대하던(혁신을 저해한다고 말하며) 일부 사람들이 첫 번째 실제 위험을 목격한 후, 즉시 '정부가 국유화해야 한다'고 주장하는 쪽으로 급선회한다는 것입니다. 이러한 극단 사이를 오가는 반응은 매우 미성숙하며, 우리에게 필요한 것은 이성적인 중용의 길입니다.

진행자: 업계에서는 항상 AI가 '자기 개선'을 할 수 있을 정도로 좋아지는 순간에 대해 이야기합니다. 연구원들은 이것이 임박했다고 보는데, 구체적으로 얼마나 남았나요?

다리오: 저는 그것이 특정한 '순간'이 아니라 지속적으로 가속되는 지수 함수적 과정이라고 생각합니다. 우리는 이미 AI가 차세대 AI 아키텍처를 제안하는 데 도움을 주기 시작하는 것을 목격했습니다. 1년 전 AI는 총요소생산성을 10-15% 향상시켰고, 지금은 아마 20-30%일 것입니다. 어느 한 순간 갑자기 통제 불능 상태가 되는 것이 아니라, 이 완만한 지수 곡선 위에서 매 순간 속도를 늦추고 더 많은 통제를 가해야 하는지 평가해야 합니다. 이성적인 대응은 기술의 힘이 커짐에 따라 우리의 대응책도 완만하게 점진적으로 업그레이드하는 것이지, 당황해서 허둥대는 것이 아닙니다.

진행자: 당신은 인류 문명이 붕괴할 확률이 10-25%라고 말한 적이 있습니다. 결코 무시할 수 없는 수치입니다. Anthropic이 만든 무언가가 그러한 붕괴를 초래하는 시나리오가 있을 수 있나요?

다리오: 물론 그런 일이 없기를 바랍니다. 이러한 위험 확률은 기술 자체의 예측 불가능성과 세계 정세의 복잡성에서 비롯됩니다. 우리가 취하는 다양한 조치들은 바로 이 붕괴 확률을 낮추기 위한 것이지, 높이기 위한 것이 아닙니다. 마치 항공 산업과 같아서, 비록 당신이 만든 비행기가 다른 비행기보다 10배 더 안전하더라도, 절대 '절대 추락하지 않을 것'이라고 누구에게도 장담할 수는 없습니다.

관련 기사: OpenAI와 Anthropic, 집단 입장 선회: AI 일자리 종말론은 더 이상 유행하지 않나?