메타버스가 남긴 가상 세계, 로봇 '원주민'을 맞이하다

저자: Zen, PANews

9월 8일, Antioch라는 미국 스타트업이 3,200만 달러 규모의 시리즈 A 투자를 완료했다. 실리콘밸리의 유명 벤처캐피털 Greylock이 리드를 맡았다. 연초에 완료한 850만 달러 규모의 시드 투자를 더하면, 설립된 지 1년 남짓한 이 회사의 누적 투자 유치는 이미 4,050만 달러에 달한다.

Antioch의 주요 노선은 현실의 로봇, 센서, 소프트웨어 시스템과 실행 환경을 컴퓨터 안으로 옮겨, 최대한 현실에 가까운 디지털 세계에서 기계를 대규모로 훈련·테스트·검증하는 것이다. 현실에서는 비용이 높고 반복하기 어렵거나 위험하기까지 한 고장과 극한 시나리오를 이곳에서는 반복해서 일으킬 수 있다.

Antioch만의 사례도 아니다. Physical AI가 AI 업계의 새로운 투자 방향으로 떠오르면서, 3D 공간, 디지털 트윈, 물리 시뮬레이션, 합성 데이터를 둘러싼 기업들이 다시 자본의 주목을 받고 있다. 이들이 해결하려는 것은 결국 컴퓨터 안에 현실에 충분히 가까운 세계를 어떻게 만들어내느냐 하는 문제다.

'가상 세계 구축, 현실 장면 복제'라는 설명만 보면 지난 '메타버스' 기술 붐이 쉽게 떠오른다. 하지만 차이점은, Antioch가 하는 일은 사용자가 VR 헤드셋을 쓰고 가상 세계를 누비게 하는 것이 아니라, 이번에는 가상 세계에 장기간 '살아야' 하는 주체가 로봇이라는 점이다.

가상 세계는 사라지지 않았다. 다만 이번에는 그곳에 들어가 사는 '주민'이 바뀌었을 뿐이다.

인류는 메타버스에 살지 못했다

2021년 8월, 세계에서 가장 중요한 컴퓨터 그래픽스 학회인 SIGGRAPH에서 NVIDIA는 Omniverse 플랫폼의 확장을 발표했다. 당시 NVIDIA의 포지셔닝은 매우 명확했다. Omniverse는 시뮬레이션과 3D 협업을 위한 플랫폼이며, '메타버스의 기반을 제공'하고 있다는 것이었다.

그 핵심 아이디어는 원래 서로 다른 소프트웨어에 흩어져 있던 3D 콘텐츠를 하나의 가상 세계로 모으는 것이다.

그중 매우 중요한 기반 기술이 USD, 즉 Universal Scene Description(범용 장면 기술)이다. 이는 픽사가 복잡한 애니메이션 영화 제작을 위해 처음 개발하고 이후 오픈소스로 공개한 3D 장면 기술 표준이다. 쉽게 말하면 3D 세계의 일종의 '공용 언어'와 같다. 어떤 가상 장면에 어떤 물체가 있고, 그것들이 어디에 있으며, 어떤 재질을 쓰고, 어떻게 움직이며, 서로 어떤 관계인지를 USD를 통해 조직할 수 있다.

따라서 당시 Blender 같은 3D 모델링 소프트웨어를 쓰는 디자이너, Adobe Substance 3D로 텍스처와 재질을 만드는 아티스트, 그리고 서로 다른 엔지니어링 소프트웨어를 쓰는 엔지니어들은 USD를 통해 각자 만든 콘텐츠를 Omniverse에 연결해 같은 3D 세계에서 협업할 수 있었다.

NVIDIA는 당시 이런 미래를 일종의 '3D Internet'으로 묘사하기까지 했다. 오늘날 인터넷이 웹페이지를 연결한다면, 미래의 인터넷은 실시간으로 들어가 상호작용할 수 있는 무수한 3D 공간을 연결할 수 있다는 것이다.

같은 해 10월, Facebook은 회사 이름을 Meta로 바꾸었고, 메타버스는 이로써 가장 광적인 국면에 접어들었다.

NVIDIA보다 저커버그가 그린 미래는 더욱 웅장했다. 그의 구상에서 사람들은 더 이상 2차원 화면 너머로 인터넷을 쓰는 것이 아니라, 공간감과 '존재감'이 있는 디지털 세계에 들어가 그 안에서 회의하고, 일하고, 즐기고, 쇼핑하고, 교류하게 된다. Meta는 당시 향후 10년 안에 Metaverse가 10억 명을 아우르고, 막대한 규모의 디지털 경제를 형성할 것으로 전망했다.

메타버스는 무엇이든 담을 수 있는 광주리였다. 이후 2년간 VR, AR, 디지털 휴먼, 가상 오피스, 3D 게임, 디지털 트윈, 그리고 NFT 같은 디지털 자산 서사가 모두 '대규모 디지털 세계'에 대한 하나의 통일된 상상 속에 담겼다.

그러나 소비자용 메타버스 산업은 지금까지도 실현되지 않았고, 당초의 수많은 참여자들은 조용히 퇴장했다. Meta는 여전히 VR, AR, 스마트 글래스를 포기하지 않았지만, 관련 사업을 뒷받침하는 Reality Labs는 여전히 극도로 비싼 장기 투자다. 2025년 Reality Labs의 연간 매출은 약 22억 700만 달러였지만, 영업손실은 191억 9,300만 달러에 달했다. Meta는 동시에 2026년에도 이 부문의 영업손실이 대체로 2025년 수준을 유지할 것으로 전망했다.

이에 비해 Omniverse의 변화는 더욱 흥미롭다. 5년 전 NVIDIA는 Omniverse를 '메타버스의 기반'이라고 불렀다. 지금 NVIDIA 공식 웹사이트의 정의는 'Physical AI 애플리케이션 개발을 위한 라이브러리와 마이크로서비스 모음'으로 바뀌었다.

Omniverse의 상위 서사와 제품 중심은 이미 산업용 디지털 트윈, 로봇 시뮬레이션, 자율주행 개발로 옮겨갔다. 그 아래에는 Isaac Sim, Isaac Lab, Cosmos, PhysX, Warp 등 일련의 로봇 및 Physical AI 도구가 연결되어 있다. 같은 플랫폼이지만, 그것이 담는 가장 큰 서사는 이미 달라졌다.

사실 로봇 시뮬레이션, 산업용 디지털 트윈, 물리 엔진의 역사는 모두 '메타버스 원년'보다 훨씬 앞선다. 지난 메타버스 붐은 3D 모델링, 실시간 렌더링, 디지털 트윈, 가상 협업, 개방형 3D 표준, 그리고 NFT 등 원래 비교적 분산되어 있던 기술들을 '대규모 디지털 세계'에 대한 하나의 통일된 상상 속에 담아냈을 뿐이다.

따라서 메타버스가 밀려나간 뒤에도 이 인프라는 사라지지 않았다. 사람들은 다만 로봇이 인간보다 가상 세계를 더 필요로 할 수 있다는 사실을 점차 깨달았을 뿐이다.

로봇에게 가상 세계가 필요한 이유

NVIDIA는 올해 GTC 컨퍼런스에서 휴머노이드 로봇 훈련 체계를 설명하며, 매우 직관적인 '로봇 데이터 피라미드'를 다시 한번 선보였다.

맨 아래층은 규모가 가장 큰 인터넷 및 인간 데이터다. 예를 들어 웹페이지, 이미지, 영상, 인간 행동 기록 등이다. 이는 거의 무한정 존재하며, 로봇에게 세상이 무엇인지, 사람이 무엇을 하는지 알려줄 수 있다. 하지만 로봇이 실제로 동작을 수행할 때 필요한 관절 각도, 힘, 촉각, 제어 신호는 대개 없다.

피라미드 맨 꼭대기는 실제 로봇 데이터다. 로봇이 원격 조작이나 자율 운행을 통해 실제로 물건을 잡고, 옮기고, 걷게 하면 최종 과제에 가장 가까운 데이터를 얻을 수 있다. 하지만 이는 가장 비싸다. 로봇 한 대는 하루에 최대 24시간밖에 실제로 경험할 수 없고, 기계, 장소, 조작 인력, 장비 유지보수까지 수반된다.

그 사이에 있는 것이 시뮬레이션과 합성 데이터다. 실제 로봇 데이터만큼 정확하지는 않지만 GPU 안에서 고속으로 복제하고 병렬 생성할 수 있다. 또 인터넷 영상처럼 '인간이 무엇을 하는지 보는' 데 그치지 않고, 로봇이 과제를 수행하는 데 필요한 동작, 상태, 센서 데이터를 직접 만들어낼 수 있다.

NVIDIA는 이에 따라 향후 피라미드 중간의 합성 데이터 층을 계속 확대해 로봇 훈련의 중요한 데이터 원천으로 삼기를 희망한다고 밝혔다.

세 가지 데이터의 장단점은 사실 매우 단순하다. 인터넷 및 인간 데이터는 저렴하고 규모가 크지만 로봇의 실제 수행과는 거리가 멀다. 실제 로봇 데이터는 로봇의 실제 배치와 가장 가깝고 물리적 진실성이 가장 높지만 비싸고 느리다. 시뮬레이션 데이터는 그 중간에 있다. 진실성은 다소 손실되지만 규모, 비용, 제어 가능성은 실제 기계를 훨씬 능가한다.

바로 그 때문에 시뮬레이션은 미국 Physical AI 인프라에서 자본과 빅테크가 가장 크게 베팅하는 방향 중 하나가 되고 있다.

그리고 그것이 해결하는 것은 데이터 양 문제만이 아니다. 현실 세계의 가장 큰 특징은 마음대로 복제할 수 없다는 점이다. 회사에 로봇이 100대 있으면 동시에 100대만 가동할 수 있다. 창고 하나도 로봇 훈련을 위해 10분마다 선반, 조명, 바닥, 상품을 전부 다시 배치할 수는 없다. 하지만 가상 환경에서는 같은 로봇을 수천, 심지어 수만 개의 디지털 분신으로 복제할 수 있다.

로봇 팔 하나가 동시에 1,000가지의 책상 배치를 마주할 수 있다. 로봇은 물체의 위치, 질량, 재질을 계속 바꿀 수 있고, 빛, 카메라 위치, 바닥 마찰력, 심지어 센서 오차까지 인위적으로 무작위 조정할 수 있다. 이런 훈련 방법은 로봇 분야에서 Domain Randomization(도메인 무작위화)이라고 불린다. 로봇이 완벽한 가상 환경 하나를 달달 외우게 하는 대신, 의도적으로 환경을 계속 바꿔 모델이 다양한 변화 속에서도 같은 과제를 완수하도록 학습시키는 것이다.

또 하나 언급할 점은, '정상 작동' 데이터 외에도 개발자는 극한 상황의 데이터에 주목해야 한다는 것이다. 카메라 하나가 갑자기 고장 나거나, 로봇 발밑이 갑자기 미끄러워지거나, 로봇이 넘어지는 것은 모두 극복해야 할 장면이다. 현실 세계에서는 데이터 수집을 위해 매일 사고를 낼 수 없지만, 가상 세계에서는 가능하다.

이것이 일부 사람들이 로봇 개발이 실제 테스트장에만 계속 의존할 수 없다고 보는 이유이기도 하다. 현실 테스트는 결국 장비, 장소, 엔지니어링 시간이 필요하고, 극한 고장은 반복하기 어렵다. 하지만 시뮬레이션에서는 한 번의 시스템 업데이트로 수천 가지 조건에 즉시 맞서 병렬 테스트를 할 수 있다.

메타버스가 한때 마주한 가장 큰 문제는, 왜 사람이 반드시 가상 세계에 들어가야 하느냐는 것이었다. 이제 로봇은 완전히 다른 답을 내놓았다. 사람에게 가상 세계는 현실 생활의 선택 가능한 대체재일 뿐이다. 하지만 로봇에게 가상 세계는 현실로 들어가기 전의 훈련장이 될 수 있다.

다시 하나의 사업이 된 '가상 세계'

Physical AI를 둘러싸고 새로운 '가상 세계 인프라' 산업이 등장하고 있으며, 이들 기업의 분업은 점점 더 세분화되고 있다.

2026년 8월, 독일 뮌헨에 본사를 둔 NavVis가 8,500만 달러의 투자를 완료했다.

NavVis는 공간 데이터 기업이다. 핵심 사업은 로봇 훈련이 아니라, 모바일 스캐닝 장비를 이용해 현실의 공장, 건물, 인프라를 고정밀 3D 데이터로 빠르게 스캔하는 것이다. 회사가 공개한 바에 따르면 2025년 한 해에만 시스템이 처리하고 배포한 현실 공간이 10억 제곱미터를 넘는다.

이제 NavVis는 이 사업을 Physical AI의 '데이터 기반'으로 직접 포지셔닝하고 있다. 로봇이 미래에 실제 공장에서 일하려면, 먼저 컴퓨터가 이 공장이 어떻게 생겼는지 정확히 알아야 한다는 것이다.

한국 스타트업 NdotLight가 해결하는 것은 또 다른 층위의 문제다. NdotLight는 로봇 시뮬레이션용 3D 에셋을 전문으로 제작하는 Physical AI 데이터 기업이다. 올해 8월 150억 원, 약 1,060만 달러의 신규 투자를 유치했으며, 한국산업은행(KDB)이 리드를 맡았다.

일반적인 3D 모델은 보통 충분히 사실적이기만 하면 게임이나 애니메이션에 쓸 수 있다. 하지만 로봇 훈련에는 턱없이 부족하다. 이 의자가 얼마나 무거운지, 어디서 충돌이 일어나는지, 표면 마찰력이 얼마인지, 어느 부위가 움직일 수 있는지까지 알아야 하기 때문이다.

NdotLight가 개발한 TRINIX는 일반 3D 콘텐츠를 이른바 SimReady 에셋, 즉 로봇 시뮬레이터에 바로 투입할 수 있는 3D 에셋으로 변환한다. 외형 외에도 질량, 마찰, 관절 구조, 충돌 데이터를 보완하고, NVIDIA Omniverse와 Isaac Sim에 연동한다. 그것이 해결하는 것은 가상 물체가 현실을 재현할 뿐 아니라 현실 물체처럼 로봇에게 사용될 수 있게 하는 방법이다.

9월 17일에는 아이슬란드의 Treble이 1,800만 달러의 투자를 유치했다. Treble은 음향 시뮬레이션 기업이다. 가상 공간을 구축한 뒤 소리가 방, 건물, 기타 환경에서 전파되는 방식을 시뮬레이션하고 합성 음향 데이터를 생성한다.

로봇, 스마트 글래스, 기타 Physical AI 기기가 현실 환경을 이해하는 데 마이크에 점점 더 의존하게 되면서, 이 회사도 자사의 음향 디지털 트윈 기술을 Physical AI 훈련에 활용하기 시작했다. 그것이 주로 해결하는 것은 가상 세계에서 로봇이 현실에 가까운 소리를 어떻게 '듣는가' 하는 문제다.

이런 유형의 기업들을 합치면, 실제로 이미 하나의 디지털 세계를 다시 짜 맞추기 시작했고, 이는 5년 전 사람들이 말하던 '가상 세계'와 매우 가까워졌다. 차이점은 메타버스가 추구한 것이 몰입감이라면, Physical AI가 추구하는 것은 진실성이라는 점이다.

이는 로봇 시뮬레이션 분야에서 가장 중요한 개념인 'Sim-to-Real', 즉 '시뮬레이션에서 현실로'로 이어진다. 그것이 탐구하는 것은 로봇이 가상 세계에서 배운 것을 현실 세계로 돌아와서도 과연 쓸 수 있느냐는 것이다.

이것이 NVIDIA의 Isaac Sim이 화면 렌더링만 강조하지 않고 강체 역학, 관절, 충돌, 다양한 가상 센서까지 포함해 그 격차를 최대한 좁히려는 이유이기도 하다. Isaac Lab은 나아가 개발자가 대량의 로봇 환경을 동시에 실행하고, GPU를 통해 로봇 정책을 병렬 훈련할 수 있게 한다.

따라서 오늘날의 로봇 가상 세계와 많은 소비자용 메타버스의 핵심 차이는, 전자의 가치가 결국 현실 세계로 돌아와 검증을 받아야 한다는 데 있다.

인류는 결국 당초 구상대로 메타버스에 살지 못했다. 하지만 가상 세계를 위해 깔아둔 길은 완전히 버려지지 않았고, 로봇이 그 길을 따라 현실로 돌아오고 있다.