로봇 학습 논문을 읽다 보면 언어 모델에서 보던 방법들이 자꾸 눈에 들어온다. 연구자들은 시연 데이터를 한데 모으고, 사전학습된 모델을 가져와 조정하고, 더 적은 연산으로 모델을 돌리는 방법을 찾고 있다. 언어 모델의 발전 가운데 어디까지가 로봇으로 넘어올 수 있는지, 그리고 물리적인 기계를 움직인다는 사실이 문제를 어디서부터 바꾸는지 이해하고 싶다.
나는 소프트웨어 엔지니어링, 응용 AI 연구, 기술 기업 실사를 두루 거쳤다. 그래서 방법론 자체와, 그것으로 누군가 무엇을 만들 수 있을지를 함께 보게 된다. 로봇이 여러 태스크에서 배울 수 있다면, 고객이 새로운 일을 맡길 때 남는 작업은 얼마나 될까?
논문을 구체적으로 읽기 위해 간단한 가상의 태스크 하나를 계속 염두에 두려고 한다. 컵 집기다. 모델은 컵이 무엇인지 이미 알고 지시도 이해할 수 있다. 하지만 그것만으로는 팔이 어디로 움직여야 하는지, 컵이 미끄러지면 어떻게 대응해야 하는지 알 수 없다. 내가 연구에서 찾고 있는 것은 바로 이 빠져 있는 결정들이다.
학습 데이터와 행동 토큰
먼저 이해하고 싶은 평행점은, 행동을 예측하는 일이 왜 텍스트를 예측하는 일만큼 유용할 수 있는가다. 언어 모델에서 학습 예제 하나는 앞선 텍스트와 그다음 토큰을 잇는다. 로봇 시연에서는 기록이 카메라 화면과 지시를 그다음 움직임과 잇는다. 행동을 고르는 모델인 정책(policy)은 수많은 예제에 걸쳐 이 관계를 학습할 수 있다.
2022년에 발표된 RT-1은 최근 이미지들과 언어 지시를 함께 받아 행동을 이산적인 선택지로 예측하는 방식으로 로봇 시연에서 학습했다. 움직임의 각 차원은 256개의 bin으로 나눴다. RT-1 논문
컵 태스크로 치면 bin 하나는 한 방향으로의 작은 움직임에 해당할 수 있고, 회전이나 그리퍼는 다른 출력이 맡는다. 이런 표현 방식이 언어 모델의 도구를 매력적으로 만드는 이유는 알 것 같다. 다음 움직임이 예측 대상이 되고, 하나의 모델이 서로 다른 태스크의 시연에서 배울 수 있기 때문이다.
하지만 시연 데이터는 서로 바꿔 끼울 수 있는 문장이 아니다. 카메라를 옮기면 모델이 보는 것이 달라진다. 팔의 도달 범위나 제어 방식이 바뀌면 같은 행동 값이 뜻하는 바도 달라진다. 학습 데이터가 커졌다는 데 큰 의미를 두기 전에, 그 경험 중 어느 부분이 전이되는지부터 알아야 한다.
로봇 간 학습
Octo에 관심이 가는 것도 바로 이 전이 문제 때문이다. Octo의 범용 정책은 Open X-Embodiment 데이터셋으로 학습되었고, 언어나 목표 이미지로 지시를 받으며, 서로 다른 관측 공간과 행동 공간에 맞게 조정할 수 있다. 실용적으로 기대되는 점은, 새로운 환경이 처음부터 학습하는 대신 다른 곳에서 배운 지식에서 출발할 수 있다는 것이다. Octo 논문
로봇공학 바깥에서 얼마나 많은 지식을 가져올 수 있는지도 지켜보고 있다. 비전-언어 모델(vision-language model)은 이미지와 설명 사이의 유용한 관계를 이미 알고 있다. OpenVLA는 이런 모델 하나를 바탕으로 로봇 시연 데이터를 추가로 학습시켜 행동을 예측한다. 각 행동 차원을 bin으로 나누고 이를 토큰으로 예측하는 방식이다. OpenVLA 논문
OpenVLA 저자들은 자신들의 평가에서 더 큰 모델인 RT-2-X보다 높은 전체 성공률을 보고했다. 그래서 이 분야에서는 파라미터 수를 발전의 손쉬운 잣대로 삼는 데 조심스러워진다. 다만 두 모델은 데이터와 설계도 다르기 때문에, 이 비교만으로는 어떤 차이가 우위를 만들었는지 가려낼 수 없다.
컵 태스크에서는 사전학습된 시각·언어 지식이 요청받은 물체를 알아보는 데 도움이 될 것이라고 예상한다. 그래도 그 물체와 현재 화면을 실행 가능한 움직임으로 연결하는 일은 여전히 로봇 시연 데이터의 몫이다. 내가 알고 싶은 것은 하드웨어나 태스크가 바뀔 때 그 출발점의 지식이 새로운 시연 작업을 얼마나 덜어 주는가다.
움직임의 시퀀스 만들기
컵 태스크를 실제 움직임 쪽으로 따라갈수록 텍스트와의 비유를 억지로 끌고 가고 싶지 않아진다. 로봇에게 연속된 움직임이 필요할 때 모든 행동 차원을 토큰으로 예측하면 비용이 커질 수 있다. 게다가 로봇은 다음 행동을 제때 받아야 쓸 수 있다.
Octo는 노이즈가 섞인 값을 점진적으로 다듬어 행동 시퀀스를 만드는 diffusion head를 쓴다. Physical Intelligence의 π0는 flow matching으로 노이즈를 연속적인 행동으로 바꾸는 변환을 학습하며, 이 변환은 관측과 지시에 조건화된다. 원 논문의 실험에서 π0는 행동 청크(action chunk) 하나를 만드는 데 10번의 적분 스텝을 사용했다. π0 논문
나는 행동 청크를 짧은 구간의 의도된 움직임으로 이해한다. 모델은 값 하나하나를 차례로 정하는 대신 앞으로 이어질 여러 행동을 한꺼번에 만든다. 그래도 태스크가 진행되는 동안 새로운 관측은 계속 필요하다. 컵이 움직이면 미리 예측해 둔 시퀀스의 일부는 더 이상 적절하지 않을 수 있다.
CogACT도 시각-언어 처리의 일부를 행동 생성과 분리한다. 사전학습된 비전-언어 모델이 학습된 특징(feature)을 diffusion 기반 행동 모듈에 넘겨주는 구조다. CogACT 프로젝트 및 논문
이런 설계들을 보며 내가 얻는 결론은, 시각·언어 지식을 재사용한다고 해서 모터 명령까지 텍스트와 똑같은 방식으로 생성할 필요는 없다는 것이다. 동시에 모듈 이름이 풍기는 인상은 조심해서 읽어야 한다. CogACT가 이렇게 나뉘어 있다고 해서, 사람이 검토할 수 있는 계획을 써낸다거나 실패한 행동마다 복구할 수 있다는 것이 입증되지는 않는다.
시뮬레이션과 합성 데이터
컵 태스크의 변형을 떠올리다 보면 계속 데이터 문제로 돌아오게 된다. 불투명한 컵이 또렷하게 보이는 상황은 여러 경우 중 하나일 뿐이다. 투명한 컵이 다른 물체에 일부 가려져 있다면, 로봇이 무엇을 인식해야 하는지, 어떻게 손을 뻗어야 하는지가 달라진다. 모든 변형을 실제로 수집하려면 장비와 운영 인력의 시간이 든다. 그래서 정책과 함께 시뮬레이션과 생성 데이터도 지켜보고 있다.
NVIDIA의 Cosmos와 GR00T는 이 작업의 서로 다른 부분을 맡는다. Cosmos는 물리 세계 영상을 생성하고 다루기 위한 월드 모델(world model) 기능을 제공한다. GR00T는 실제 로봇 경험과 시뮬레이션된 로봇 경험이 섞인 데이터를 쓰는 로봇 정책 프로젝트다. Cosmos 논문; GR00T N1 발표
내게 중요한 질문은 추가된 예제가 로봇이 감당할 수 있는 범위를 실제로 바꾸는가다. 생성된 장면은 겉모습을 다양하게 바꿀 수 있고, 물리 기반 시뮬레이션은 움직임과 접촉에 관한 정보를 줄 수 있다. 하지만 시뮬레이션 속 컵이 잘못 움직인다면, 정책은 실제 컵을 집으려 할 때 통하지 않는 관계를 학습할 수 있다. 데이터셋이 커진다는 것만으로는 이 문제가 해결되지 않는다.
Google의 Gemini Robotics는 또 다른 길을 간다. 대형 멀티모달 모델에서 출발해 출력에 행동을 더하고, 체화된 추론(embodied reasoning) 능력을 키우는 방식이다. Gemini Robotics 발표
여기서 Google의 추론과 NVIDIA의 시뮬레이션 중 하나를 깔끔하게 고를 수 있다고 보지는 않는다. 로봇 시스템은 시연 데이터와 함께 두 가지를 모두 쓸 수 있다. 학습 방식의 이름에서 우위를 짐작하기보다는, 정해진 태스크에서 행동이 어떻게 달라지는지를 비교하고 싶다.
로봇 위에서 정책 돌리기
정책이 실험에서 좋은 행동을 만들어 낸 다음에 무슨 일이 벌어지는지도 이해하고 싶다. 주어진 메모리 안에 들어가고, 로봇이 다음 움직임을 필요로 하기 전에 응답할 수 있는가? 그리고 정책이 계산하는 동안 로봇은 이미 무엇을 하고 있는가?
지금 읽고 있는 최적화 논문들은 이 문제의 서로 다른 부분을 다룬다.
- BitVLA는 가중치가 −1, 0, 1 세 가지 값만 갖도록 해 메모리 요구량을 줄인다. 가중치 하나를 저장하는 데 드는 비트 수가 줄어드는 것이다. 이미지 처리 부분은 더 정밀한 가중치를 가진 모델의 특징을 따라가도록 학습되어, 유용한 시각 정보를 유지하는 데 도움을 받는다. BitVLA, 2025년 6월 버전
- PD-VLA는 후보 시퀀스에서 출발해 여러 토큰을 병렬로 반복 갱신하는 방식으로 행동 디코딩을 가속한다. 생성 과정에서 순차적으로 기다리는 시간이 줄어든다. PD-VLA, 2025년 3월 버전
- 실시간 청킹(real-time chunking)은 로봇이 앞선 행동 청크를 실행하는 동안 새 청크를 생성하면서, 계산하는 사이에 이미 실행이 확정된 움직임을 반영한다. Real-Time Execution of Action Chunking Flow Policies
컵 예시와 가장 직접 맞닿아 있는 것은 마지막 문제다. 새 청크가 도착했을 때 팔이 이미 뻗어 나가고 있다면, 새 계획은 팔이 계산을 시작한 시점의 위치에 그대로 있다고 가정할 수 없다. 생성이 빨라지면 도움이 되지만, 넘겨받는 과정 자체도 진행 중인 움직임에 맞아야 한다.
보고된 개선 폭을 단순히 더해서 그렇게 나온 로봇이 실제 생산 환경에 투입될 준비가 됐다고 말할 수도 없다. 이 방법들은 서로 다른 제약을 다루며, 정책이 실제로 돌아갈 하드웨어와 태스크 위에서 함께 맞물려 작동해야 한다.
다음 논문에서 찾으려는 것
언어 모델과의 비교는 공유 데이터, 사전학습, 더 저렴한 추론에 왜 연구가 몰리는지 이해하는 데는 도움이 된다. 하지만 고객이 언제 범용 로봇을 배치할 수 있을지 판단하는 데는 훨씬 덜 유용하다. 논문들은 그에 대한 일정표를 주지 않는다.
내가 따라가려는 것은 정책을 새 상황에 맞추는 데 드는 작업량이다. 컵이 바뀌거나, 카메라 위치가 달라지거나, 팔이 교체되면 무엇을 새로 수집하고, 다시 학습시키고, 다시 만들어야 하는가? 그 작업을 줄여 주는 방법이라면 엔지니어에게도 고객에게도 의미가 있을 것이다. 기술 논문이 내 기업 분석에 쓸모를 갖기 시작하는 지점도 바로 거기라고 생각한다.