요즘 “월드 모델”이라는 이름을 단 발표가 쏟아지고, 이들이 어떻게 다른지 설명하는 기사도 줄을 잇는다. 이 분야를 따라가면서 적어 온 노트를 여기 정리해 둔다.
내가 주로 관심을 두는 것은 새로운 종류의 AI 모델이 나왔을 때 다른 회사들이 그 위에 어떤 제품을 만들 수 있게 되는가다. 언어 모델의 경우 처음에는 버티컬별로 특화된 채팅형 어시스턴트가 나왔다. 그러다 모델이 루프를 돌고, 도구를 호출하고, 코드를 쓰기 시작하자 채팅을 넘어서는 제품이 폭발적으로 늘었다. 그렇다면 “월드 모델”은 어떤 제품을 가능하게 할까? 이 노트를 이끄는 질문이다.
월드 모델이란 무엇인가
여기서는 “월드 모델”이라는 말을 넓게 쓴다. 내가 따라가는 발표들이 하는 일이 서로 꽤 다르기 때문이다. 어떤 모델은 사람이 장면 안을 움직일 때 다음 화면을 생성하고, 어떤 모델은 그림을 전혀 렌더링하지 않고 앞으로 일어날 법한 일을 예측한다. 공통점은 어떤 행동 뒤에 이어질 일을 예측하거나 생성할 수 있을 만큼 환경에 대해 배우겠다는 목표다.
언어 모델과 비교해 보면 이 목표가 잘 보인다. 언어 모델은 다음에 올 텍스트를 예측한다. 반면 이 모델들은 어떤 장소나 물리적 상황에 관한 무언가를 기억해 두었다가, 행동에 그럴듯한 결과가 따르도록 하려 한다. 하지만 이름만으로는 다른 회사가 무엇을 만들 수 있을지 별로 알 수 없다고 생각한다. 그럴듯한 장면을 생성하는 일과, 누군가 계속 쓸 수 있는 세계를 유지하는 일은 요구 조건이 다르다.
Project Genie
구글 Project Genie에서 흥미로운 점은 사용자가 생성된 장면 안을 돌아다닐 수 있다는 것이다. 영상을 요청해서 재생되는 걸 지켜보는 대신, 사람이 세계를 묘사하고 그 안을 탐색하면 모델이 그에 반응해 다음 장면을 생성한다. 구글은 2026년 1월 29일 이 실험을 미국의 Google AI Ultra 구독자에게 공개했다. 한 번의 탐색은 최대 60초다. Project Genie 발표
방 하나를 찍은 정지 이미지를 떠올려 보면 이해하기 쉽다. 그 사진을 생성하는 것이 하나의 과제다. 내가 모퉁이를 돌아 걸어갈 수 있게 하려면, 원래 프레임 밖에 무엇이 있는지를 정해야 한다. 그러고 나서 다시 뒤를 돌아보면, 방이 그대로 있고 물건들도 같은 자리에 있기를 기대하게 된다. 이제 내 행동이 모델이 기억해야 할 것들에 대한 요구 조건이 된다.
데모 너머에서 지켜보고 싶은 것이 바로 이 기억이다. 구글은 조작에 지연이 생길 수 있고, 생성된 세계가 프롬프트나 일상적인 물리 법칙을 무시할 수 있다고 경고한다. 짧은 탐색이라도 아이디어를 스케치하는 데는 쓸모가 있을 수 있다. 하지만 사람들이 계속 다시 찾는 제품이라면, 다시 돌아올 때마다 그 세계가 얼마나 유지되는지 알아야 한다.
게임과 재사용 가능한 3D 장면
개발자가 이걸로 게임을 만들 수 있을까? 생성된 장면을 출발점으로 삼는 건 상상할 수 있지만, 플레이어가 무언가를 바꾼 뒤에 어떻게 되는지는 잘 모르겠다. 문을 열었다면 다시 돌아왔을 때도 열려 있어야 한다. 게임 디자이너는 또 문을 열면 무슨 일이 일어나는지 정하고, 그 규칙을 반복 플레이 내내 일관되게 유지해야 한다.
그래서 Genie와 함께 World Labs의 Marble도 지켜보고 있다. 2025년 11월에 출시된 Marble은 재사용 가능한 3D 장면을 생성하며, 이 장면은 탐색할 수도 있고 3D 콘텐츠로 쓸 수도 있다. 2026년 1월 발표된 World API를 쓰면 개발자가 자기 애플리케이션에서 이런 세계를 요청할 수 있다. Marble; World API
Marble에 대해 내가 던지는 제품 질문은, 개발자가 생성된 장면으로 이후에 무엇을 할 수 있느냐다. 편집해서 더 큰 무언가의 일부로 만들 수 있을까? Genie의 인터랙티브 생성은 다른 질문을 던진다. 누군가 탐색하는 동안 세계가 어떻게 반응하느냐다. 어느 데모가 더 인상적인지로 둘을 평가할 이유는 아직 보이지 않는다. 의미 있는 비교는 각각이 다른 회사에 무엇을 만들 여지를 남기느냐다.
그림 없는 예측
지금까지 든 예시는 대부분 출력물을 보는 장면을 떠올릴 수 있어서 이야기하기 쉽다. 그런데 응용 AI에 대한 관심은 월드 모델의 덜 눈에 띄는 쓰임새로도 나를 이끈다. 의사결정에 참고할 수 있을 만큼 앞으로 일어날 일을 예측하는 것이다. 이를 위해 모델이 꼭 그림을 렌더링해야 할까?
Yann LeCun의 JEPA 연구 계열은 학습된 표현 공간(representation space)에서의 예측을 탐구한다. V-JEPA에서 모델은 영상에서 빠진 부분에 대한 정보를 예측하지만, 픽셀 하나하나를 복원하지는 않는다. 여기서 표현이란 사람이 보라고 만든 이미지가 아니라, 모델이 학습한 압축된 서술이다. 메타의 V-JEPA 설명
어떤 물체가 어디로 움직일지만 예측하면 된다고 해 보자. 이 과제에서는 위치와 움직임이 중요하고, 뒤에 있는 벽의 정확한 질감은 중요하지 않을 수 있다. 모든 픽셀에 연산을 쓰지 않고 필요한 정보만 담는 표현을 학습한다는 발상이 왜 매력적인지는 이해가 된다. 아직 확인해야 할 것은, 그 표현이 그것을 쓰는 시스템의 예측이나 결정을 개선하느냐다.
LeCun의 새 회사 AMI Labs도 이 질문을 염두에 두고 지켜보고 있다. JEPA를 영상 품질로 평가하면 원래 의도한 쓰임새를 놓치게 된다. 설득력 있는 결과라면, 다운스트림 시스템이 무엇을 예측하거나 결정할 수 있게 되었는지에서 드러날 것이다.
로보틱스를 위한 합성 데이터
로보틱스에서는 월드 모델이 학습 데이터 수집의 수고를 덜어 줄 수 있는지 알고 싶다. 실제 로봇으로 한 작업의 여러 변형을 녹화하려면 장비와 운영 인력의 시간이 든다. 모델이 쓸모 있는 변형을 만들어 낼 수 있다면, 개발자는 직접 녹화하기에는 비용이 많이 드는 상황에서 정책(policy)을 학습시키거나 테스트할 수 있다.
NVIDIA의 Cosmos 플랫폼이 바로 이 개발 단계를 다룬다. 2026년 1월 발표에는 물리 세계 시나리오를 생성하고 로봇 정책 평가를 지원하는 Predict 2.5와 Transfer 2.5가 포함됐다. NVIDIA 1월 발표
내게 중요한 질문은, 로봇이 실제 작업으로 돌아갔을 때 어떤 변형이 도움이 되느냐다. 조명을 바꿔 보는 것은 로봇이 창고에서 마주칠 조건에서 물체를 알아보는 데 도움이 될 수 있다. 반면 모델이 접촉을 잘못 표현해 실제 물체가 미끄러진다면, 그럴듯한 파지 영상도 별 쓸모가 없다. 내가 보고 싶은 것은 생성된 영상이 더 많이 쌓이는 것이 아니라 로봇의 행동이 나아지는 것이다.
다음으로 지켜볼 것
나는 이 발표들을 보며 다른 회사가 그 위에 무엇을 만들 수 있을지 물었다. 그러니 다음에 나올 가장 유용한 증거는 그런 회사들이 실제로 시도하는 데서 나올 것이다. 생성된 장면을 재사용하는 개발자와 합성 데이터로 정책을 개선하는 로보틱스 팀은 서로 다른 것을 알려 줄 것이다. 둘 다 계속 지켜보려 한다. “월드 모델”이 요구 조건이 서로 꽤 다른 여러 종류의 제품을 뒷받침하는 것으로 드러날 수도 있기 때문이다.