글쓴이: 브루스
최근 기술 및 투자 업계 전체가 한 가지에 집중하고 있습니다. 바로 AI 애플리케이션이 기존 SaaS 시장을 "무너뜨리고 있다"는 것입니다. AnthropicAI의 클로드 코워크가 AI를 이용해 이메일 작성, 파워포인트 프레젠테이션 제작, 엑셀 스프레드시트 분석 등을 얼마나 쉽게 할 수 있는지 보여준 이후, "소프트웨어의 종말"에 대한 공포가 확산되기 시작했습니다. 물론 두려운 일이지만, 만약 여러분이 이 부분에만 집중한다면 진정으로 중요한 변화를 놓칠 수도 있습니다.
마치 우리 모두가 드론 공중전만 쳐다보고 있지만, 발밑의 대륙판 전체가 조용히 움직이고 있다는 사실은 아무도 알아채지 못하는 것과 같습니다. 진짜 폭풍은 대부분의 사람들이 볼 수 없는, 표면 아래 숨겨진 곳에서 일어나고 있습니다. 인공지능 세계 전체를 지탱하는 컴퓨팅 파워의 기반이 "조용한 혁명"을 겪고 있는 것입니다.
이 혁명으로 인해 인공지능 분야의 거대 기업인 엔비디아(@nvidia)가 치밀하게 준비한 성대한 파티가 예상보다 훨씬 빨리 끝날 수도 있습니다.
두 가지 혁명적인 길이 수렴하고 있다.
이 혁명은 단일 사건이 아니라, 겉으로는 독립적처럼 보이는 두 가지 기술적 흐름이 얽혀든 결과입니다. 마치 두 군대가 포위망을 좁혀오듯, 그들은 엔비디아의 GPU 지배력에 대해 양동 공격을 감행하고 있습니다.
첫 번째 방법은 알고리즘 간소화의 혁명입니다.
초지능이 문제를 생각할 때 정말 모든 뇌세포를 사용해야 하는지 궁금해 본 적이 있나요? 당연히 아니죠. DeepSeek은 이 점을 파악하고 MoE(하이브리드 전문가 모델) 아키텍처를 개발했습니다.
수백 명의 다양한 분야 전문가로 구성된 회사를 떠올려 보세요. 하지만 문제를 해결하기 위한 회의를 할 때마다 모든 사람이 함께 아이디어를 내는 대신, 가장 관련성이 높은 두세 명만 초대하면 됩니다. MoE의 핵심은 바로 이것입니다. 방대한 모델에서 각 계산마다 소수의 "전문가"만 활성화하도록 함으로써 컴퓨팅 파워를 크게 절약할 수 있습니다.
결과는 어떻게 될까요? DeepSeek-V2 모델은 명목상 2360억 개의 "전문가"(매개변수)를 가지고 있지만, 실제로 작동할 때는 210억 개, 즉 전체의 9% 미만만 활성화하면 됩니다. 그럼에도 불구하고 성능은 100% 컴퓨팅 파워를 필요로 하는 GPT-4와 비슷합니다. 이것은 무엇을 의미할까요? 인공지능의 능력은 컴퓨팅 파워 소모량과 무관하다는 것입니다!
과거에는 인공지능이 강력할수록 더 많은 GPU를 소모할 것이라고 모두 생각했습니다. 하지만 DeepSeek은 정교한 알고리즘을 통해 동일한 효과를 10분의 1의 비용으로 얻을 수 있다고 밝혔습니다. 이는 NVIDIA GPU의 필수적인 역할에 큰 의문을 제기합니다.
두 번째 경로는 하드웨어 혁명입니다.
AI 연산은 학습과 추론, 두 단계로 나뉩니다. 학습은 마치 학교에 가는 것처럼 광범위한 학습을 요구하며, 강력한 병렬 컴퓨팅 기능을 갖춘 GPU는 이 단계에서 매우 유용합니다. 하지만 우리가 일상적으로 AI를 사용하는 방식처럼 추론 단계에서는 반응 속도가 더욱 중요합니다.
GPU는 추론 과정에서 본질적인 한계를 가지고 있습니다. 바로 RAM(HBM)이 외부에 탑재되어 있어 데이터 전송에 지연이 발생한다는 점입니다. 이는 마치 요리사가 요리할 때마다 재료를 가지러 옆 냉장고로 달려가야 하는 것과 같습니다. 매번 재료를 가져오는 것은 결코 빠르지 않죠. 세레브라(Cerebra)나 그로크(Groq) 같은 회사들은 이러한 한계를 극복하기 위해 SRAM을 칩에 직접 납땜하는 전용 추론 칩을 설계했습니다. 덕분에 재료를 언제든 바로 사용할 수 있게 되어 "제로 레이턴시" 접근이 가능해졌습니다.
시장은 이미 실질적인 자금으로 투표했습니다. OpenAI는 엔비디아의 GPU 추론 성능이 부족하다고 불평했지만, 곧바로 세레브라(Cerebras)와 100억 달러 규모의 추론 서비스 임대 계약을 체결했습니다. 엔비디아는 이에 당황하여 이 새로운 경쟁 분야에서 뒤처지지 않기 위해 200억 달러를 들여 그로크(Groq)를 인수했습니다.
두 경로가 교차할 때: 비용 급증 현상
자, 이제 이 두 가지를 결합해 보겠습니다. 알고리즘적으로 "간소화된" DeepSeek 모델을 하드웨어 "제로 레이턴시" Cerebras 칩에서 실행하는 것입니다.
무슨 일이 일어날까요?
비용이 눈사태처럼 쏟아져 들어온다.
첫째, 간소화된 모델은 크기가 매우 작아 칩의 내장 메모리에 완전히 탑재될 수 있습니다. 둘째, 외부 메모리의 병목 현상이 없어 AI의 반응 속도가 놀라울 정도로 빨라집니다. 결과적으로 MoE 아키텍처 덕분에 학습 비용이 90% 절감되고, 전용 하드웨어와 희소 컴퓨팅 덕분에 추론 비용은 또 다른 10분의 1 수준으로 절감됩니다. 따라서 세계 최고 수준의 AI를 구축하고 운영하는 데 드는 비용은 기존 GPU 솔루션의 10~15% 수준에 불과할 수 있습니다.
이것은 단순한 개선이 아니라 패러다임의 전환입니다.
엔비디아의 왕좌에서 카펫이 조용히 벗겨지고 있다.
이제 왜 이것이 "공유 오피스 공포증"보다 더 치명적인지 이해하셨을 겁니다.
엔비디아의 현재 시가총액 1조 달러는 단순한 이야기, 즉 인공지능이 미래이고 인공지능의 미래는 엔비디아의 GPU에 달려 있다는 이야기에 기반을 두고 있습니다. 하지만 이제 이 이야기의 근간이 흔들리고 있습니다.
엔비디아가 교육용 그래픽 카드 시장을 계속 독점하더라도, 고객들이 전체 카드 용량의 10분의 1만으로도 작업을 완료할 수 있다면 전체 시장 규모는 크게 줄어들 수 있습니다.
추론 시장은 학습 시장보다 10배나 큰 규모인데, 엔비디아는 이 시장에서 절대적인 우위를 확보하지 못했을 뿐만 아니라 구글, 세레브라스 등 여러 거대 기업들의 포위와 압박에 직면해 있습니다. 심지어 최대 고객사인 오픈AI조차 이탈하고 있습니다.
월가가 엔비디아의 "삽"이 더 이상 유일한 선택지도, 심지어 최선의 선택지도 아니라는 사실을 깨닫게 되면, "영구적인 독점"이라는 기대에 기반한 기업 가치 평가에 어떤 변화가 일어날까요? 답은 모두가 알고 있을 거라고 생각합니다.
따라서 향후 6개월 동안 가장 큰 블랙 스완 사건은 어떤 AI 애플리케이션이 다른 애플리케이션을 이겼는지에 대한 것이 아니라, MoE 알고리즘의 효율성에 대한 새로운 논문이나 전용 추론 칩의 시장 점유율이 크게 증가했다는 보고서와 같이 겉으로는 사소해 보이는 기술적 뉴스일 수 있으며, 이는 컴퓨팅 파워 전쟁이 새로운 국면에 접어들었음을 조용히 알리는 신호일 수 있습니다.
삽 장수가 더 이상 삽 외에 다른 선택지가 없을 때, 그의 황금기는 끝을 향해 가고 있을지도 모릅니다.
