이번 여름, AI 업계의 가장 극단적인 도박이 곧 결판난다

작성자: David, 션차오 TechFlow

이 몇 주 동안 계좌의 반도체 주식을 들여다보며, 아마 다들 한 가지 의심을 품고 계실 겁니다. AI 랠리가 이제 정점을 찍은 건 아닐까?

보름 남짓한 사이에 반도체 섹터에서 1조 달러가 넘는 시가총액이 증발했고, 메모리 주식은 줄줄이 약세장으로 빠져들었습니다. 심지어 삼성전자가 사상 최대 이익을 발표했는데도 주가는 오르기는커녕 하락했죠.

비관론자들은 2000년 닷컴 버블 당시 차트를 꺼내 놓고 단순 비교에 열을 올리고, 낙관론자들은 너무 급하게 오른 뒤의 조정일 뿐이라고 말합니다. 이렇게 옥신각신하는 동안, 모두의 시선은 여전히 같은 회사들, 엔비디아, 인텔, 마이크론 같은 칩을 파는 거인들에만 꽂혀 있습니다.

이 논쟁은 업계 판도가 크게 바뀌는 흐름 속의 작은 단면일 뿐이며, 더 큰 그림은 거의 공론장에 오르지 못하고 있습니다. 혹시 생각해 보셨나요? 칩 그 자체의 판이 완전히 바뀌고 있다는 사실을.

지난 몇 년간 AI가 사용한 칩은 범용이었습니다. 엔비디아의 GPU는 이미지 생성, 훈련, 추론 등 무엇이든 척척 해냈죠. 하지만 모든 것을 다 잘한다는 건, 결국 어느 하나도 극한에 도달하지 못한다는 대가를 치릅니다.

그런데 지금은 거의 모든 대형 테크 기업이 몰래 새로운 종류의 칩을 만들고 있습니다. 오직 한 가지 일만, 하지만 그 일을 극한까지 밀어붙이는 전용 칩이죠.

OpenAI가 만들고 있고, 구글의 TPU, 아마존의 Trainium이 모두 그런 칩입니다. 브로드컴은 올해 구글의 이런 칩 제작을 도우면서 주가가 크게 뛰었죠. 이는 아마 대부분의 사람들이 아직 눈치채지 못한 숨은 흐름일 겁니다.

범용 칩의 시대가, 전용 칩에 의해 흔들리기 시작했습니다.

이 숨은 흐름 위에는, 여러분이 이름조차 들어보지 못했을 한 회사가 누구보다 과감하게, 심지어 엔비디아를 대체하겠다고 공언하며 달려가고 있습니다.

그 회사는 Etched입니다. 하버드 대학을 중퇴한 스무 살 초반의 청년 세 명이 만들었고, 올해 모두 25세 안팎에 불과합니다. 회사는 설립 4년이 되었지만, 오늘까지 단 하나의 제품도 판 적이 없습니다.

하지만 이 회사에 투자한 사람들은 다음과 같은 거물과 기관들입니다.

실리콘밸리 벤처 투자의 대부 피터 틸, 정상급 퀀트 트레이딩 회사 제인 스트리트, TSMC와 연계된 벤처 펀드까지... 단 한 개의 칩도 납품한 적 없는 이 회사는, 현재 약 8억 달러의 자금을 유치해 기업 가치가 50억 달러에 달합니다.

더 이례적인 점은, 외신 보도에 따르면 이미 10억 달러가 넘는 주문을 확보하고 있으며, 그 주문은 아직 생산되지도 않은 칩을 위한 것이라는 사실입니다.

이 세 젊은이는 AI에서 돈이 가장 많이 들어가는 분야가 이미 '모델 훈련'에서 '모델이 답을 내놓는 행위', 즉 추론으로 전환되었다고 확신하고 있습니다.

여러분이 ChatGPT나 Claude에게 매번 질문을 던질 때, 그 뒤에서는 한 번의 추론이 일어납니다. 이 일은 하루에 수십억 번씩 발생하며, AI 전체에서 가장 큰 비용이 들어가고 가장 높은 빈도로 발생하는 작업입니다.

엔비디아 GPU는 못하는 게 없지만, 추론 하나만을 위해 설계된 것은 아닙니다. Etched가 하려는 일은 오직 추론만 돌리며, ChatGPT의 아키텍처를 말 그대로 실리콘에 새겨 넣은 칩을 만드는 것입니다.

회사가 직접 공개한 데이터에 따르면, 같은 작업에서 8개의 Etched 칩이 100개 이상의 엔비디아 H100을 대체할 수 있다고 합니다. 이 수치는 아직 제3자 검증을 거치지 않았지만, 젊은이들이 엔비디아에 맞설 수 있는 모든 근거이자 배짱의 원천입니다.

가장 돈이 많이 들어가는 그 일에는, 애초에 만능 칩이 필요하지 않은 것입니다.

물러설 곳 없는 모험

제품 측면에서 보면 이는 정말이지 뒤가 없는 도박입니다. 핵심은 바로 '새겨 넣는다'는 데 있습니다.

다른 회사들이 전용 칩을 만들 때는 어느 정도 뒷문을 남겨 둡니다. 칩이 소프트웨어를 통해 새로운 모델 구조에 적응할 수 있게 설계하죠. 그러나 Etched는 그러지 않았습니다. ChatGPT와 같은 거대 모델이 공통으로 사용하는 Transformer라는 기반 구조(업계에서 부르는 명칭)를 물리적인 회로 형태로 실리콘에 직접 구워 넣었습니다.

유연성을 위해 아껴둘 공간 마저도 모두 연산 능력을 쌓는 데 쏟아부었고, 덕분에 몇 배의 속도를 얻었습니다. 그래서 이 힘의 대가는, 언젠가 AI가 Transformer가 아닌 다른 새로운 구조로 바뀌는 그날, 이 칩은 현장에서 그대로 쓸모없는 실리콘 조각으로 전락하고, 고칠 방법조차 없다는 것입니다.

설립자들은 그 누구보다 이 사실을 잘 알고 있습니다.

2024년 시리즈 A 투자 유치 당시, 이 회사의 CEO인 Gavin Uberti는 공개 인터뷰에서 자신들이 AI 분야에서 가장 큰 베팅을 하고 있으며, 이 구조가 사라지면 회사는 끝장이라고 언급한 바 있습니다.

하지만 만약 구조가 살아남는다면, Etched는 역사상 가장 위대한 회사가 될 것이라고 말했죠.

이 말을 했을 때 그의 나이는 23살이었고, 회사 계좌에는 갓 1억 2천만 달러가 들어와 있었습니다. 2년이 흐른 지금, 회사 계좌에는 8억 달러의 자금이 쌓여 있고 등 뒤로 10억 달러의 주문을 지고 있지만, 그 칩은 아직 공장에서 나오지 않았습니다.

스무 살 초반의 혈기 왕성한 젊은이는 회사의 최후를 '0(제로)' 아니면 '역사상 최대'라는 두 가지 운명적인 단어로 압축했습니다. 중간에 단 한 치의 퇴로도 남겨두지 않은 발상은, 조금은 천마일갈처럼 보이기도 합니다.

그런데 그에게 돈을 댄 사람들은 베테랑들인데, 도대체 왜 그들도 기꺼이 그 베팅에 동참한 걸까요?

추론이 수익 중심이 될 때

AI 훈련은 엔비디아의 해자이지만, 추론은 그렇지 않습니다.

훈련은 모델을 처음부터 가르쳐서 몇 달간 한 번에 막대한 컴퓨팅 파워를 태워버리는 일입니다. 반면 추론은 모델이 학습을 마친 후, 매일 수억 명의 질문에 답변하며 계속해서 돈을 조금씩 태워나가는 일입니다.

이 두 가지의 비용 소비 방식은 완전히 다릅니다. 여러 외신 보도에 따르면, 추론은 이미 훈련을 대체하여 AI 기업의 가장 큰 지속적 비용이자 가장 심각한 병목 구간이 되었습니다.

Anthropic은 이번 분기에 추론의 수익률에 힘입어 흑자 전환에 성공할 수 있다는 관측도 있습니다. 돈의 중심이 서서히 훈련에서 추론으로 이동하고 있는 것입니다.

현재 거의 모든 추론은 엔비디아의 GPU에서 돌아가고 있습니다. 하지만 GPU는 원래 이 작업을 위해 만들어진 것이 아니기 때문에, 추론 작업만 전용으로 돌릴 때는 막대한 회로가 놀고 있는 셈입니다.

Etched의 설립자 Gavin Uberti는 인터뷰에서 하나의 숫자를 언급했습니다. GPU 클러스터로 추론을 돌리면 실제 연산 가동률이 20~30%에 불과하고, 절반이 넘는 성능이 낭비된다는 것입니다.

즉, 5만에서 15만 달러를 들여 엔비디아 기계를 사서 추론을 돌리면, 실제로 제 역할에 집중되는 능력은 30%에 불과하고, 나머지 70%는 열을 내고 전기만 잡아먹고 있을 수도 있다는 뜻입니다.

엔비디아의 해자는 훈련과 CUDA 소프트웨어 생태계라는 두 곳에 견고하게 쌓여 있습니다. 그 벽은 높고 두꺼워서 단기간에 아무도 넘을 수 없습니다. 그러나 추론은 다릅니다. 이것은 훨씬 단순하고 반복적인 작업이기 때문에 만능 칩이 필요하지 않으며, 엔비디아가 이곳에 똑같은 벽을 쌓은 것은 아닙니다.

엔비디아가 세계에서 시가총액이 가장 높은 칩 회사라고 말할 수 있지만, 가장 수익이 높고 빠르게 성장하는 그 사업은 아이러니하게도 엔비디아가 완전히 잘하지도, 딱 들어맞지도 않는 곳에서 벌어지고 있는 셈입니다.

이 Etched라는 회사에 투자한 투자자들은 바로 이 무게 중심의 이동에 베팅하고 있는 것입니다.

이 중에서 가장 칩 투자와 어울리지 않을 것 같은 인물은 장수 광인 브라이언 존슨입니다. 매일 자신의 100가지가 넘는 건강 지표를 측정하며 노화를 되돌리려는 이 기술 부호는, 공개적으로 밝힌 바에 따르면 몇 년 전 Etched의 두 창업자 중퇴생이 자신을 찾아와 더 빠른 AI 칩을 만들어 장수 연구를 가속하겠다고 말했다고 합니다. 칩이 토큰을 빨리 뿜어낼수록, 약을 찾고 질병의 비밀을 푸는 속도도 빨라진다는 논리였죠.

추론을 더 빠르고 저렴하게 만드는 자는, AI를 기반으로 먹고사는 모든 산업의 가격을 다시 책정할 수 있게 될 것입니다.

왜 엔비디아가 직접 추론 전용 칩을 만들지 않느냐고 물을 수 있습니다. 사실 당연히 만들 수 있습니다. 그러나 범용 GPU라는 거대한 기반을 갖고 있는데, 모든 것을 걸고 전용 GPU로 방향을 트는 모험을 왜 하겠습니까?

그래서 이 이야기는 시작부터 가장자리에서의 파괴적 혁신이라는 형태를 띠고 있습니다.

올 여름, 베팅의 결과가 나온다

Etched가 4년간 베팅해 온 그 칩이, 이번 여름 출시됩니다.

설립 4년 차에 단 한 개의 제품도 팔지 못했던 회사에게는 마침내 그 실력을 증명해야 하는 순간입니다. 칩이 고객의 데이터 센터에 설치되어, 정말로 슬라이드 자료에서 외쳤던 것처럼 오직 추론을 위해 태어난 것인지가 그 자리에서 판가름 날 것입니다.

그런데 이 판이 열리기 직전, 테이블 자체에 조금 변화가 생겼습니다.

Etched가 실리콘에 새겨 넣은 것은 3년 전에 확신했던 AI의 모습입니다. 그러나 그들이 칩을 만드는 데 몰두하는 동안, 일부 AI는 스스로 작동 방식을 바꿔버렸습니다. 과거에는 하나의 모델이 하나의 덩어리여서 어떤 질문이 오든 전체를 호출했습니다. 그러나 지난 2년 사이 가장 강력한 오픈소스 모델들은 구조를 바꿔 여러 개의 작은 덩어리로 쪼갠 뒤, 매번 임시로 몇 개의 덩어리만 골라 작업을 수행합니다. 가장 최전선에 있는 중국 오픈소스 모델인 DeepSeek과 Qwen 등은 하나같이 이러한 새로운 성장 방식을 취하고 있습니다.

소프트웨어는 몇 주면 수정이 가능하지만, 칩은 설계도부터 양산까지 2년이 걸립니다. 머리 속 구조를 물리적으로 회로에 못 박는 것은, 어떤 의미에서 변화의 속도에 반대하는 숏 베팅을 하는 셈입니다.

이런 느낌은 지난 암호화폐 사이클을 겪은 사람들이라면 어디서 많이 경험해 본 것입니다. 이더리움 역시 초창기에는 하드웨어로 채굴하는 데 열을 올렸습니다. 오로지 이더리움만 계산할 수 있고 다른 건 못하는 전용 채굴기들은, 범용 그래픽 카드를 아득히 앞섰습니다. 이것이 바로 Etched가 투자자들에게 들려준 이야기, 즉 '전용이 범용을 압도한다' 는 논리입니다.

2022년 9월 그날 밤, 이더리움은 채굴 규칙을 완전히 바꿔 하드웨어 경쟁에서 코인 보유 경쟁으로 전환했고, 전 세계에서 이더리움을 위해 제작된 채굴기와 수많은 그래픽 카드는 벽돌로 변했습니다. 수십억 달러어치 하드웨어가 하룻밤 사이에 '0'이 된 것입니다.

채굴기는 알고리즘이 변하지 않는다는 쪽에 베팅했고, Etched는 아키텍처가 변하지 않는다는 쪽에 베팅했습니다. 그리고 회사의 세 창업자도 이 벽을 명확히 인지하고 있습니다.

그들의 대응법은 바로 '시간과의 싸움'입니다.

Uberti가 인터뷰에서 반복해서 말했던 단어 하나가 '너무 늦었다'입니다. 그는 Etched가 전용 추론 칩 분야에서 엔비디아, 구글 같은 거대 기업들을 최소 18개월 앞서 있다고 확신합니다. 대기업들이 정신을 차리고 비슷한 제품을 내놓을 때쯤이면, Etched는 이미 2세대 제품으로 진화하여 고객들을 묶어둘 것이라는 얘기입니다.

즉, 그가 베팅하는 것은 현재 주류 AI 추론 아키텍처인 Transformer가 사라지지 않는다는 점뿐만 아니라, 아키텍처가 칩이 감당할 수 없을 정도로 변하기 전에 이번 여름 물량을 출하하고 시장을 장악할 만큼 자신이 충분히 빠르게 움직일 수 있다는 점이기도 하다.

이것은 속도에 관한 경주이며, 이 경주에 베팅한 회사는 비단 이 회사 하나만이 아니다.

투자, 즉 기술이 꽃피우기를 베팅하는 것

돌아보면, Etched의 이야기는 사실 Etched만의 이야기가 아니다.

이 회사는 모두가 하고 있지만 좀처럼 말하지 않는 일을 가장 극단으로 밀어붙였다. 당신이 엔비디아, 브로드컴, 캠브리콘, 세레브라스 같은 칩 주식을 조금이라도 들고 있다면, 당신이 산 것은 단지 한 회사의 실적이 아니다. 당신은 하나의 판단을 산 것이며, 특정 기술 루트가 충분히 오래 버틸 수 있을 것이라는 데 베팅한 것이다. 그것에 쏟아부은 돈을 회수할 수 있을 만큼 오래.

Etched는 이 베팅을 가장 후퇴할 여지가 없는 곳에 걸었을 뿐이다. 아키텍처를 실리콘 웨이퍼에 납땜해 버렸으니, 승패는 단번에 뒤집히는 식이다. 반면 대부분의 베팅은 부드럽고, 느리며, 자신이 베팅하고 있다는 사실조차 깨닫지 못한다.

'특화'라는 이야기를 매수한다는 것은, 어떤 의미에서는 변화의 속도에 공매도(숏)를 거는 셈이다.

변화가 느릴수록, 당신은 더 확실하게 승리한다. 변화가 가속되면, 단단히 용접되어 있을수록 더 심하게 나가떨어진다.

올여름, Etched의 칩은 자연스럽게 그 자체의 답을 내놓을 것이다. 하지만 이는 또한 주목할 만한 풍향계이자 표지판이기도 하다. 이 도박은 당신 계좌에 담긴, '변하지 않을 것'이라고 조용히 베팅하고 있는 모든 포지션을 시험하고 있다.

이제, 당신 손에 쥔 패를 뒤집어 스스로 한번 확인해 볼 때다.