SemiAnalysis 최신 인터뷰: 스토리지 아직 두 배 성장 가능성, 단중기 CPO 신중 접근, CPU는 단지 조연

AI 인프라의 모든 계층이 동시에 압박을 받고 있으며, 기회와 오판이 공존하고 있다.

SemiAnalysis의 설립자 Dylan Patel은 최근 팟캐스트 인터뷰에서 현재 AI 인프라 스택의 핵심 동학과 투자 논리를 체계적으로 정리했다.

그의 진단은 모델 경제학, 메모리 슈퍼 사이클, CPU의 재평가, CPO의 도입 시기 리스크, 데이터센터 에너지 공급의 구조적 기회까지 아우른다.

AI 투자 수익률(ROI)에 대한 시장의 일반적인 의문에 대해 Dylan은 Anthropic이 올해 2분기에 이미 잉여현금흐름 흑자로 전환했으며, 연환산 반복 매출이 500억 달러를 넘고 매출총이익률이 70%를 상회한다고 밝혔다. 기업 부문에서는 최신 AI 모델이 가져온 생산성 향상이 컴퓨팅 비용 증가를 크게 웃돌면서, 기업들이 폭증하는 AI 예산을 감당하기 위해 다른 소프트웨어 지출을 줄이도록 만들고 있다.

하드웨어 진화 측면에서는 추론 모델로의 패러다임 전환이 시장 수요를 재편하고 있다.

Dylan은 메모리가 수년간 지속될 구조적 공급 부족에 직면해 있으며, 2~3배의 추가 상승 여지가 있다고 강조했다. 반면 에이전트와 강화 학습이 CPU 수요를 끌어올리고는 있지만, 공급자 측 시장이 이를 지나치게 높게 가격에 반영하고 있다고 지적했다. CPU 성장은 주로 과거 미비점을 보완하는 데서 비롯되며, AI 서버 내 절대 가치는 여전히 GPU에 크게 못 미친다.

Dylan은 시장의 기대를 모으고 있는 공동 패키징 광학(CPO)의 대규모 상용화 시기는 2028년 말~2029년으로 명확하게 연기되었으며, 이로 인해 구리 케이블 커넥터의 호황기가 예상보다 길어졌다고 판단한다. 아울러 전력망 송배전의 제약으로 데이터센터가 '비하인드 더 미터(자가 발전)' 방식으로 전환되면서, 전통적인 반도체 투자 외에도 거대한 산업용 에너지 및 전력 변환 공급망 투자 기회가 창출되고 있다.

Anthropic이 먼저 현금 창출, AI 수요 내러티브가 현실로

AI 기업의 ROI에 대한 시장의 의문에 Dylan Patel은 구체적인 데이터로 답했다.

"Anthropic은 2분기에 이미 잉여현금흐름 흑자 전환에 성공했으며, 4월과 5월에 이익을 냈고 6월도 동일할 것으로 보입니다." 그는 Anthropic의 연환산 반복 매출이 이미 500억 달러를 넘었고 매출총이익률은 70%를 상회한다고 말했다. OpenAI의 매출도 Codex 도입률 상승에 따라 빠르게 증가하고 있다.

SemiAnalysis 자체의 지출 궤적 또한 이러한 추세를 뒷받침한다. 지난해 11월, 90명으로 구성된 이 회사의 연환산 AI 지출은 10만 달러가 채 되지 않았다. 그러다 올해 1월 말, Claude Code가 대규모로 확산되면서 이 수치는 연환산 400만 달러로 급증했고, 현재는 1,100만 달러에 달했으며, 주간 피크를 연환산하면 한때 1,400만 달러까지 치솟았다. "직원 인건비와 AI 비용을 합치면 AI가 차지하는 비중이 이미 3분의 1을 넘었고, 연말 전에 절반에 도달할 가능성이 큽니다."

그는 또한 더 새롭고 강력한 모델이 실제 사용 환경에서 반드시 더 비싼 것은 아니라고 지적했다. 예전 모델은 하나의 작업을 처리하는 데 10만 토큰과 10회의 상호작용이 필요했다면, 새 모델은 2만 5천 토큰과 1회의 상호작용으로 가능할 수 있다. "모델이 4.6 Opus에서 4.7 Opus로 업그레이드될 때마다 우리의 지출은 처음 1주일간 감소했다가 다시 급등합니다. 이전에는 할 수 없었던 일을 이제 할 수 있게 되었기 때문이죠."

이것이 Anthropic이 OpenAI와의 경쟁에서 우위를 점하는 핵심 이유 중 하나라고 그는 분석한다. 토큰 효율이 더 높아 사용자 종합 비용이 더 낮다는 것이다.

메모리: 경기 사이클 아닌 구조적 공급 부족

모든 하드웨어 품목 가운데 Dylan Patel이 메모리에 대해 가장 확고한 입장을 보였다.

"이건 단기 공급 부족이 아니라 수년간 지속될 구조적 부족입니다." 그는 메모리 생산능력이 매년 20~30% 늘어나는 반면, AI 측 수요는 배로 증가하고 있어 둘 사이의 간극이 계속 확대될 것이라고 지적했다.

이러한 판단을 뒷받침하는 핵심 논리는 추론 모델이 KV 캐시에 미치는 충격에서 나온다. 기존의 대화형 추론에서 컨텍스트 길이는 수천 토큰 수준이어서 KV 캐시 소비가 제한적이었다. 하지만 o1으로 대표되는 추론 모델이 등장한 이후 컨텍스트 길이가 폭발적으로 증가했고, 이에 따라 KV 캐시도 급격히 팽창하면서 메모리가 가장 직접적인 수혜 품목이 되었다. SemiAnalysis는 2024년 12월 보고서를 발표해 이 트렌드를 정식으로 지적한 바 있다.

공급 측의 경직된 제약은 한정된 메모리 자원을 하류 시장이 재분배하도록 강제할 전망이다. 그는 가격 탄력성이 낮은 소비자 가전이 가장 먼저 타격을 받을 것으로 예측한다. 중저가 스마트폰 제조사의 출하량은 이미 40% 감소했고, iPhone과 MacBook 가격은 내년에 인상될 것이라고 본다. "메모리 가격이 계속 오르면서 소비자 가전이 새로운 수준으로 압축되고, AI가 필요한 메모리를 확보할 때까지 진정으로 충분해지지 않을 것입니다."

설령 사이클 하강이 찾아온다고 해도, "저점 대비 저점 기준으로 장기 성장은 의심의 여지가 없다"고 그는 덧붙였다.

CPU: 일시적 반등에 불과, 과도한 외삽 경계

CPU는 올해 AI 인프라 내러티브에서 새롭게 등장한 주인공이지만, Dylan Patel은 이에 대해 분명히 경고한다.

CPU 수요의 부활 논리는 명확하다. 강화 학습은 환경 검증(코드 유닛 테스트, 시뮬레이션 작업 등)을 실행하기 위해 많은 CPU를 필요로 한다. 에이전트 추론은 모델이 도구를 자주 호출하고 실제 환경과 상호작용할 것을 요구하는데, 이러한 작업들은 CPU 연산 능력에 크게 의존한다.

동시에 지난 몇 년간 AI 칩이 대량 출하되는 동안 이에 비해 CPU 공급이 크게 부족했으며, 현재는 그 미비점을 집중적으로 메우는 단계에 있다. ARM, 인텔, AMD가 모두 수혜를 보았고, NVIDIA의 Vera CPU도 200억 달러의 매출 가이던스를 제시했다.

"하지만 중요한 경고를 하나 드려야겠습니다. 여기에는 대규모 과거 미비점 보충 효과가 포함되어 있습니다." 그는 일단 과거의 부족분을 메우고 나면 그 뒤에는 추가 수요만 남게 되어 수요가 정상화될 것이라고 말했다. 절대 금액으로 보면 Blackwell 한 대가 약 5만 달러인 데 비해 CPU는 약 5,000달러 수준이어서, 비율상 CPU를 더 늘리더라도 달러 기준 절대 규모는 AI 가속기 칩에 훨씬 못 미친다.

"메모리와 AI 가속기 칩이 주된 영역입니다. CPU는 저평가됐다가 재평가된 것인데, 이제는 좀 더 합리적인 가격이 되었지만 AI 칩보다 더 빠르게 무한정 성장하지는 않을 것입니다."

광 인터커넥트: 장기 낙관, 단기적으로 CPO에 신중

네트워크와 광 인터커넥트는 시장의 뜨거운 관심을 받는 또 다른 영역이지만, Dylan Patel은 CPO(공동 패키징 광학)의 도입 속도에 대해 신중한 입장을 유지한다.

"CPO가 진정한 대량 생산에 들어가는 시기는 2028년 말에서 2029년으로 판단하고 있습니다." 그는 현재 제조 수율, 칩 설계 및 공급망 성숙도가 모두 대규모 배포 기준에 도달하지 못했으며, NVIDIA의 Rubin과 그 후속 아키텍처인 Feynman은 여전히 풀 구리(All-Copper) 방식을 사용할 예정이어서, GPU 측 CPO는 몇 세대의 칩 교체 주기를 더 기다려야 한다고 지적했다.

그는 SemiAnalysis가 지난주 기관 구독 고객에게 발표한 보고서에서 중기적으로는 오히려 구리 케이블 및 비CPO 광학 솔루션을 더 긍정적으로 보고 CPO에 대해서는 신중한 의견을 제시했다고 밝혔다. 일부 하드웨어의 설계 변경(예: Rubin Ultra의 Kyber에서 800V 설계 제거)으로 CPO 도입 시기가 더 지연되었다. 암페놀과 같은 구리 케이블 커넥터 기업들은 이로 인해 예상보다 더 많은 혜택을 보게 될 것이다.

"CPO는 장기적으로 실현될 것이며, 구리는 장기적으로 대체될 것입니다. 하지만 도입 일정이 늦춰지면서 당분간 구리 케이블에 여전히 큰 기회가 있습니다."

전력: 자가 발전이 주류로 부상, 혁신 경로는 다변화

데이터센터의 전력 공급은 AI 성장을 가로막는 가장 강력한 물리적 제약이 되고 있다.

Dylan Patel의 예측에 따르면, 신규 데이터센터 전력 사용량은 올해 20기가와트, 내년 30기가와트, 내후년 50기가와트로 거의 폭발적으로 증가한다.

그는 에너지 문제를 송전, 발전, 변환의 세 가지 차원으로 분해한다. 송전이 가장 돌파하기 어려운 영역으로, 규제 정책, 지역 전력회사의 독점적 구조, 비용 분담 체계 등이 얽혀 있어 단기간에 바뀌기 어렵다. 발전과 변환 부문에서는 기회가 광범위하게 존재한다.

그는 향후 몇 년간 신규 데이터센터 전력 사용량의 절반이 '비하인드 더 미터(Behind the Meter)', 즉 공공 전력망에 의존하지 않는 기업 자가 발전에서 나올 것으로 전망한다.

현재 주류 솔루션은 GE Vernova, 미쓰비시, 지멘스 등의 복합 사이클 가스 터빈(CCGT)이다. 이와 동시에 왕복동 엔진, 산업용 가스 터빈 심지어 선박·기차·트럭용 엔진을 개조한 비전통적 솔루션도 등장하고 있다. "거칠게 들릴 수 있지만, 이미 작동하고 있고 실제로 사용되고 있습니다."

더 장기적으로 보면 약 2년 안에 태양광과 에너지 저장장치의 통합 비용이 가스 발전보다 낮아질 것이라고 그는 판단한다. 더 먼 미래로는 우주 데이터센터를 꼽는데, 우주 궤도에 컴퓨팅 칩을 배치하면 태양 전지판이 대기를 뚫을 필요가 없어 지상보다 에너지 밀도가 훨씬 높고 에너지 저장장치도 필요 없게 된다.

변환 측면에서도 IGBT, 실리콘 카바이드, GaN MOSFET, 솔리드 스테이트 트랜스포머, UPS, 슈퍼커패시터에 이르기까지 전압 변환의 전 밸류체인이 빠르게 진화하며 투자 기회가 풍부하다.

현재 SemiAnalysis에서 가장 규모가 큰 리서치 부서는 더 이상 반도체가 아니라, 사내에서 'DEI'(데이터센터, 에너지, 산업)라 부르는 팀으로, 전 세계의 모든 데이터센터와 발전소 배포 현황을 추적하고 있다.