WorldGen
lastmod 2026-11-16created 2025-11-242 edits
WorldGen은 Meta Reality Labs 가 발표한, 텍스트 프롬프트 하나로 걸어 다닐 수 있는 3D 세계를 만드는 생성 AI 시스템이다. LLM 이 프롬프트를 읽어 절차적 생성기로 장면의 뼈대를 잡고, 이미지 생성과 3D 확산 모델로 장면을 재구성한 뒤 개별 오브젝트로 나눠 다듬는다. 결과물은 텍스처가 입혀진 메시로 나와 Unreal·Unity 같은 게임 엔진에서 바로 탐색하거나 편집할 수 있다.
About
- 장면 계획(Scene Planning), 장면 재구성(Reconstruction), 장면 분해(Decomposition), 장면 개선(Enhancement)의 4단계 파이프라인
- 계획 단계에서 LLM 이 프롬프트를 지형 종류·오브젝트 밀도·높낮이 같은 JSON 파라미터로 바꾸고, 절차적 생성기가 이것으로 장면의 대략적 형태(blockout)를 만듦. blockout 에서 걸을 수 있는 영역인 navmesh 를 굽고, 깊이 맵을 조건으로 참조 이미지를 생성함
- 재구성 단계는 Meta 의 image-to-3D 모델 AssetGen2 를 navmesh 까지 조건으로 받도록 확장해 장면 전체를 메시 하나로 만듦. 이미지에서 가려진 곳도 이동 가능 영역이 끊기지 않게 함
- 분해 단계는 자동 파트 생성 모델 AutoPartGen 을 장면용으로 고쳐 지형·건물·나무·소품 같은 개별 에셋으로 나누고, 마지막 단계에서 각 에셋의 형상과 텍스처를 높은 해상도로 다시 생성함
- 오브젝트별로 나뉘어 있어 세계 전체를 다시 만들지 않고 특정 건물만 고치는 식의 부분 편집이 가능함
- 참조 이미지를 한 장만 쓰기 때문에 수 km 규모의 오픈 월드나 여러 층 던전 같은 다층 구조는 아직 지원하지 않음. 오브젝트마다 형상·텍스처를 따로 두어 아주 큰 장면에서는 렌더링 효율이 문제가 될 수 있음
- 기술 보고서는 arXiv(2511.16825)에 공개됨