Waymo World Model
lastmod 2026-11-16created 2026-02-072 edits
Waymo World Model은 Waymo 가 2026년 2월 발표한 자율주행 시뮬레이션용 생성형 월드 모델이다. Google DeepMind 의 범용 월드 모델 Genie 3 를 주행 영역에 맞게 후학습한 것으로, Waymo Driver 를 시험할 가상 주행 환경을 카메라 영상과 라이다 데이터로 함께 만들어 낸다. 자사 차량이 수집한 도로 데이터로만 처음부터 학습하는 기존 시뮬레이션 모델과 달리, 대규모 영상으로 사전학습된 Genie 3 의 지식을 빌려 차량이 실제로 겪어 보지 못한 상황도 만든다.
About
- 2D 영상에서 얻은 지식을 Waymo 하드웨어에 맞춘 3D 라이다 출력으로 옮기도록 후학습함. 생성된 4D 포인트 클라우드를 블로그의 3D 뷰어로 볼 수 있음
- 눈 덮인 Golden Gate Bridge, 토네이도, 침수된 주택가, 역주행 차량, 코끼리·사자와의 조우처럼 실제로 모으기 어려운 장면을 생성함
- 제어 방법은 세 가지: 주행 입력(실제 기록과 다른 경로로 달려 보는 반사실 시뮬레이션), 장면 배치(도로 구조·신호 상태·다른 차량 행동), 언어(시간대·날씨, 완전한 합성 장면)
- 기록된 주행과 다른 경로를 달리면 3D Gaussian Splatting 같은 재구성 방식은 관측이 없는 부분에서 화면이 깨지지만, 이 모델은 생성으로 일관성을 유지한다고 설명함
- 휴대폰이나 대시캠으로 찍은 일반 영상을 Waymo Driver 의 센서 관점 다중 센서 시뮬레이션으로 변환함
- 긴 장면용으로 계산량을 크게 줄인 경량 변형 모델을 따로 둠
- 발표 시점 Waymo Driver 의 실제 완전 자율주행 거리는 약 2억 마일