콘텐츠로 이동
Search

WorldModels:Tutorial:01-WhatIsWorldModel

lastmod 2026-11-18created 2026-11-172 edits

World Model 이란 무엇인가는 World Model 튜토리얼의 1장이다. "머릿속 시뮬레이터"라는 직관에서 출발해 강화학습에서 말하는 모델(전이 모델과 보상 모델)의 정의, model-free 와 model-based 의 차이, Dyna, 역사, 분류 기준, World Model 을 어렵게 만드는 네 가지 문제를 다룬다. 뒤의 모든 장이 되풀이하는 "모델 기반 학습 고리"와 실습 무대인 진자 환경도 이 장에서 정해진다.

머릿속의 시뮬레이터

사람은 실제로 해 보기 전에 머릿속에서 결과를 돌려 본다. 원문은 세 장면을 든다.

  • 공 받기: 외야수는 타구가 떨어질 곳을 미리 예측하고 달린다. 시각 정보의 처리에는 시간이 걸리므로 지금 보이는 공의 위치만 쫓으면 늦는다.
  • 운전: 빗길에서 브레이크를 밟으면 평소보다 멀리 미끄러진다는 것을 알기에, 미끄러져 보기 전에 일찍 속도를 줄인다.
  • 컵 놓기: 컵을 테이블 끝에 반쯤 걸치면 떨어진다는 것을 깨뜨려 보지 않고도 안다.

케네스 크레이크(Kenneth Craik)는 1943년 책 The Nature of Explanation 에서, 생물이 머릿속에 바깥 세상과 자기 행동에 대한 "작은 규모의 모형(small-scale model)"을 가지고 있다면 여러 행동을 머릿속에서 시험해 가장 좋은 것을 고르고 미래 상황에 미리 대비할 수 있다고 주장했다. 오늘날 이것을 정신 모형(mental model)이라고 부른다.

World Model 은 에이전트 머릿속의 "작은 게임 엔진"에 해당한다. 진짜 게임 엔진은 프로그래머가 물리 법칙을 코드로 적어 넣지만, World Model 은 그 법칙을 경험(데이터)만 보고 배운다. 한번 배우고 나면 진짜 세상 대신 이 엔진 안에서 "이렇게 하면 어떻게 될까"를 싸고 안전하게 여러 번 돌려 볼 수 있다.

정의
World Model 은 "지금 상황에서 이 행동을 하면 다음에 무슨 일이 일어날까"를 예측하도록 데이터로 학습한 모델이다. 예측기가 있으면 에이전트는 실제로 해 보지 않고도 미래를 상상할 수 있고, 그 상상으로 계획을 세우거나 행동을 배울 수 있다.

에이전트와 환경

기본 용어

아래 용어는 5장에서 수식으로 다시 정리된다.

용어

기호

뜻

에이전트(agent)

행동을 고르는 주체. 사람, 로봇, 게임 캐릭터를 움직이는 프로그램 등이다.

환경(environment)

에이전트를 둘러싼 세상. 에이전트의 행동에 반응해 바뀐다.

상태(state)

\(s_t\)

시각 \(t\) 에 세상이 정확히 어떤 모습인지를 다 담은 정보. 진자라면 각도와 각속도다.

관측(observation)

\(o_t\)

에이전트가 실제로 볼 수 있는 정보. 상태 전부일 수도, 일부일 수도 있다(예: 카메라 그림 한 장).

행동(action)

\(a_t\)

에이전트가 고르는 것. 진자라면 축에 거는 토크다.

보상(reward)

\(r_t\)

행동의 결과로 받는 점수. 에이전트의 목표는 보상의 합을 크게 만드는 것이다.

정책(policy)

\(\pi\)

관측(또는 상태)을 보고 행동을 고르는 규칙이다.

에피소드(episode)

시작부터 끝까지 한 판. 진자는 200 스텝(10초)이 한 판이다.

에이전트와 환경은 고리를 이룬다(원문 그림 1-1). 에이전트가 정책 \(\pi\) 로 고른 행동 \(a_t\) 를 보내면 환경(진짜 세상)이 물리 법칙대로 바뀌고, 에이전트는 다음 관측 \(o_{t+1}\) 과 보상 \(r_t\) 를 돌려받는다. 이 고리가 200번 돌면 진자의 한 에피소드가 끝난다.

진자 환경

튜토리얼 전체의 무대는 진자 스윙업(swing-up)이다. 물리는 Gym Pendulum-v1 과 같다.

용어

진자에서는

상태 \(s_t\)

각도 \(\theta\) 와 각속도 \(\dot\theta\). 두 숫자만 알면 앞으로의 움직임이 완전히 정해진다. \(\theta = 0\) 이 위(똑바로 선 자세), \(\pm\pi\) 가 아래(매달린 자세)다.

관측 \(o_t\)

6·7장에서는 \([\cos\theta, \sin\theta, \dot\theta]\) (상태를 다 보여 준다). 8장부터는 64×64 흑백 그림(각속도가 보이지 않는다).

행동 \(a_t\)

토크 \(u \in [-2, 2]\). +는 시계 방향, −는 반시계 방향으로 돌리는 힘이다.

보상 \(r_t\)

\(-(\theta^2 + 0.1\,\dot\theta^2 + 0.001\,u^2)\). 위에 가만히 서 있으면 0(최대), 아래에 매달려 있으면 약 −9.9 다.

에피소드

200 스텝. 한 스텝은 0.05초이므로 10초다.

환경 상수는 \(g = 10\), \(m = 1\), \(l = 1\), \(dt = 0.05\), 각속도 한계 8 rad/s, 토크 한계 2 다. wm_envs.py 의 Pendulum.step() 이 이 환경의 진짜 전이 함수 \(f\) 와 보상 함수다.

    def step(self, action) -> tuple[np.ndarray, float, bool]:
        u = float(np.clip(np.asarray(action, dtype=np.float64).reshape(-1)[0], -self.max_torque, self.max_torque))
        th, thdot = self.th, self.thdot

        # 보상은 '움직이기 전' 상태로 계산한다 (Gym 과 같다).
        cost = angle_normalize(th) ** 2 + 0.1 * thdot**2 + 0.001 * u**2

        # 물리: θ̈ = (3g / 2l)·sin θ + (3 / m l²)·u     (6장에서 유도한다)
        # 오일러 적분: 속도를 먼저 갱신하고, 새 속도로 각도를 갱신한다 (semi-implicit Euler).
        thdot_new = thdot + (3.0 * self.g / (2.0 * self.l) * np.sin(th) + 3.0 / (self.m * self.l**2) * u) * self.dt
        thdot_new = float(np.clip(thdot_new, -self.max_speed, self.max_speed))
        th_new = th + thdot_new * self.dt

        self.th, self.thdot = th_new, thdot_new
        self.t += 1
        done = self.t >= self.max_steps
        return self._obs(), float(-cost), done

진자 세우기에서 드러나는 것

원문에는 같은 물리를 JavaScript 로 옮긴 브라우저 데모가 있다. 막대가 아래로 매달린 상태에서 시작해 10초 안에 위로 세우는 과제이며, 조종해 보면 세 가지가 드러난다.

  1. 한쪽으로만 계속 밀면 올라가지 않는다. 토크의 최댓값 2 가, 중력이 막대를 끌어내리는 토크(막대가 옆으로 누웠을 때 최대 \(mgl/2 = 5\))의 절반에도 못 미친다. 아래에서 +2 를 계속 걸면 막대는 아래쪽에서 약 49° 까지만 올라갔다가 다시 떨어진다.
  2. 그네처럼 흔들어야 한다. 막대가 움직이는 방향으로 힘을 보태면 한 번 왕복할 때마다 조금씩 더 높이 올라간다.
  3. 위에 거의 왔을 때는 반대로 해야 한다. 넘어가지 않도록 브레이크를 걸고 균형을 잡아야 한다. 같은 "토크 +2"가 아래에서는 좋은 행동이고 위에서는 나쁜 행동일 수 있다.

데모의 자동 조종은 이 전략을 그대로 실행한다. 에너지를 \(E = \dot\theta^2/6 + 5\cos\theta\) (위에 정지했을 때 5)로 두고, \(\vert\theta\vert \lt 0.5\) 인 위 근처에서는 \(u = -(10\theta + 2\dot\theta)\) 를 \([-2, 2]\) 로 잘라 균형을 잡으며, 그 밖에서는 \(E \lt 5\) 이면 움직이는 방향으로 토크 2 를 걸고 아니면 0 을 건다. 아래에서 시작하면 약 3초(62 스텝) 만에 막대를 세우고, 한 에피소드의 보상 합은 약 −373 이다.

"지금 밀면 손해 같지만 몇 초 뒤에는 이득"이라는 판단은 미래를 그려 볼 수 있어야 가능하다. 진자 세우기는 바로 앞의 보상만 보고 욕심을 부리면 실패하는 문제라서, World Model 로 미래를 상상하는 방법의 장점이 잘 드러난다.

강화학습에서의 모델

강화학습에서 모델은 정확히 다음 두 가지를 말한다.

전이 모델(transition model, dynamics model)
지금 상태 \(s_t\) 에서 행동 \(a_t\) 를 하면 다음 상태 \(s_{t+1}\) 이 무엇이 되는가.
보상 모델(reward model)
지금 상태 \(s_t\) 에서 행동 \(a_t\) 를 하면 보상 \(r_t\) 를 얼마나 받는가.

세상이 늘 똑같이 반응한다면(결정적, deterministic) 전이 모델은 함수 하나로 쓴다.

\(s_{t+1} = f(s_t, a_t), \qquad r_t = R(s_t, a_t)\)

세상은 늘 똑같이 반응하지 않으므로(주사위, 교차로에서 앞차의 방향) 일반적으로는 전이 모델을 확률 분포로 쓴다.

\(s_{t+1} \sim p(s_{t+1} \mid s_t, a_t)\)

"다음 상태 \(s_{t+1}\) 은, 지금 상태가 \(s_t\) 이고 행동이 \(a_t\) 일 때의 분포 \(p\) 에서 뽑힌다"로 읽는다. 세로 막대 뒤가 이미 알고 있는 것이다. 결정적인 세상은 이 분포가 한 점 \(f(s_t, a_t)\) 에만 확률 1 을 몰아준 특수한 경우다. 조건부 확률 표기는 2장에서 다룬다.

World Model 은 진짜 \(f\) (또는 \(p\))를 모르는 채 데이터를 보고 그것을 흉내 내는 학습된 모델이다. 학습되는 숫자(신경망의 가중치)를 \(\theta\) 로 묶어 \(f_\theta\) 또는 \(p_\theta\) 로 쓴다.

\(\hat{s}_{t+1} = f_\theta(s_t, a_t) \approx f(s_t, a_t)\)

데이터로 배운다는 것: 작은 예

1차원 세상의 진짜 규칙이 \(s_{t+1} = s_t + 0.5\,a_t\) 인데 이 규칙을 모르고 경험 세 개만 가지고 있다고 하자.

경험

\(s_t\)

\(a_t\)

\(s_{t+1}\) (관찰된 결과)

1

0

2

1.0

2

1

\(-2\)

0.0

3

3

1

3.5

모델의 꼴을 \(f_\theta(s, a) = s + \theta\,a\) 로 정하고 숫자 하나 \(\theta\) 만 배운다. 틀린 정도는 오차 제곱의 평균(평균 제곱 오차, MSE)으로 잰다. 제곱하는 까닭은 음수 오차와 양수 오차가 서로 지워지지 않게 하려는 것이다.

\(\begin{align} \theta = 1:\quad & \hat{s}^{(1)} = 0 + 1\cdot 2 = 2, \quad \hat{s}^{(2)} = 1 + 1\cdot(-2) = -1, \quad \hat{s}^{(3)} = 3 + 1\cdot 1 = 4 \\ & \hat{s} - s_{t+1}:\quad 2 - 1 = 1, \quad -1 - 0 = -1, \quad 4 - 3.5 = 0.5 \\ & \text{MSE}(\theta{=}1) = \frac{1^2 + (-1)^2 + 0.5^2}{3} = \frac{1 + 1 + 0.25}{3} = 0.75 \\ \theta = 0.5:\quad & \text{MSE}(\theta{=}0.5) = \frac{(1-1)^2 + (0-0)^2 + (3.5-3.5)^2}{3} = 0 \end{align}\)

오차를 가장 작게 만드는 값은 \(\theta^\ast = 0.5\) 이고, 이때 \(f_{\theta^\ast}(s, a) = s + 0.5\,a\) 로 진짜 규칙이 그대로 나온다. "데이터로 모델을 배운다"는 이 일이다.

실제 World Model 은 \(\theta\) 가 수만에서 수백만 개(신경망의 가중치)이고, 손으로 찍어 보는 대신 경사 하강법(4장)으로 오차를 줄인다. 오차를 제곱으로 재는 이유는 2장에서 "가우시안 분포의 최대우도"로 밝혀진다.

그림만 보일 때: 잠재 공간의 World Model

진자를 \((\theta, \dot\theta)\) 대신 카메라 그림으로만 본다면, 64×64 그림은 숫자 4096개다. 다음 그림의 픽셀 4096개를 통째로 예측하는 것은 어렵고 낭비다. 그림 속 정보는 "막대가 어느 각도에 있는가" 하나뿐이기 때문이다. 그래서 그림을 보는 World Model 은 보통 세 부분으로 나뉜다.

  1. 인코더: 그림 \(o_t\) 를 작은 벡터 \(z_t\) (잠재 변수, latent variable)로 압축한다. 8장 VAE 에서 다룬다.
  2. 잠재 동역학: 작은 벡터 공간에서 다음을 예측한다. \(z_{t+1} \sim p_\theta(z_{t+1} \mid z_t, a_t, \text{기억})\). 9장과 11장에서 다룬다.
  3. 디코더: 필요하면 작은 벡터를 다시 그림으로 펼친다. 8장에서 다룬다.

이렇게 하면 상상은 작은 벡터 공간 안에서 빠르게 돌아간다. Ha 의 World Models(10장), PlaNet(11장), Dreamer(12장)가 모두 이 구조다.

model-free 와 model-based

강화학습 알고리즘은 World Model 을 쓰는지 여부로 크게 둘로 나뉜다.

  • 모델 없는 강화학습(model-free RL): 세상이 어떻게 움직이는지는 배우지 않고, "이 상황에서 이 행동은 좋았다/나빴다"를 시행착오로 직접 배운다. 예: DQN, PPO, SAC. 자전거를 넘어지며 몸으로 익히는 것과 비슷하다.
  • 모델 기반 강화학습(model-based RL): 먼저 세상의 규칙(World Model)을 배우고, 그 모델로 계획하거나 상상 속에서 연습한다. 예: PETS, PlaNet, Dreamer, MuZero. 체스 선수가 수를 두기 전에 머릿속으로 여러 수를 읽는 것과 비슷하다.

비교

model-free

model-based (World Model)

표본 효율 (실제 경험을 얼마나 아끼나)

낮다. 실제 환경과 아주 많이 상호작용해야 한다(수백만 스텝도 흔하다).

높다. 한 번 모은 경험으로 모델을 배우고, 상상 경험을 많이 만들어 쓴다.

계산량

적다. 정책·가치 신경망만 학습한다.

많다. 모델도 배워야 하고, 모델 안에서 계획·상상도 돌려야 한다.

점근 성능 (데이터가 무한할 때 최종 실력)

전통적으로 높다. 진짜 경험만 쓰므로 모델 오차의 영향이 없다.

모델이 틀린 만큼 손해를 볼 수 있다. 최근 방법(DreamerV3 등)은 여러 과제에서 model-free 와 대등하거나 앞선다.

오류의 원인

가치 추정의 편향·분산, 탐험 부족.

왼쪽 원인에 더해 모델 오차(model bias). 틀린 모델 안에서 세운 계획은 실제로는 틀린다.

재사용

목표(보상)가 바뀌면 처음부터 다시 배워야 하는 경우가 많다.

세상의 규칙은 목표와 상관없으므로, 보상만 바꿔 같은 모델로 새 목표를 계획할 수 있다.

이 튜토리얼

5장에서 기초만

6~13장 전체

표본 효율의 차이는 크다. PETS 논문(Chua 외, 2018)은 HalfCheetah 달리기 과제에서 model-free 방법인 SAC 보다 약 8배, PPO 보다 약 125배 적은 표본으로 비슷한 성능에 도달했다고 보고했다. 로봇 팔을 한 번 움직이는 데 몇 초가 걸리고 넘어지면 부서질 수 있는 실제 세상에서는 이 차이가 결정적이다.

둘은 대립하지 않고 함께 쓰이는 경우가 많다. Dreamer 는 World Model 이 만든 상상 경험 위에서 액터-크리틱(model-free 의 대표적인 방법)을 돌린다. 이 "섞어 쓰기"의 원조가 아래의 Dyna 다.

World Model 이 주는 다섯 가지

  1. 표본 효율: 실제 경험은 비싸다. 로봇은 닳고, 자율주행차의 사고는 되돌릴 수 없고, 신약 실험은 몇 달이 걸린다. World Model 은 한 번의 실제 경험에서 최대한 많이 배우게 한다.
  2. 계획(planning): 행동하기 전에 여러 행동 후보를 모델 안에서 돌려 보고 가장 좋은 것을 고른다. 7장 MPC·CEM, 11장 PlaNet.
  3. 상상 속 학습: 계획을 매번 하는 대신, 모델이 만든 "꿈" 속에서 정책을 연습시켜 두고 실전에서는 그 정책을 바로 쓴다. 10장 World Models, 12장 Dreamer.
  4. 시뮬레이터·데이터 생성: 충분히 좋은 World Model 은 그 자체로 게임 엔진이나 주행 시뮬레이터 역할을 한다. 사고 직전 장면 같은 위험한 상황을 만들어 다른 AI 를 훈련하거나 시험할 수 있다. 13장 GameNGen·Genie·Cosmos.
  5. 이해와 재사용: 미래를 잘 예측하려면 세상의 구조(무엇이 물체이고 어떻게 움직이는지)를 파악해야 하므로, World Model 이 배운 표현은 다른 과제에도 쓸모가 있다. 목표가 바뀌어도 세상의 규칙은 그대로이므로 모델을 재사용할 수 있다.

Dyna: 실제 경험과 상상 경험을 섞기

리처드 서튼(Richard Sutton)이 1990~1991년에 제안한 구조다.

  1. 실제 환경에서 행동해 경험 \((s, a, r, s')\) 를 얻는다(\(s'\) 는 다음 상태).
  2. 이 실제 경험으로 정책·가치를 직접 고치고(model-free 와 같다), 동시에 모델을 고친다.
  3. 모델에게 "이 상태에서 이 행동을 하면"을 물어 가상 경험을 여러 개 만들고, 그 가상 경험으로도 정책·가치를 똑같이 고친다.

구성 요소와 흐름은 다음과 같다(원문 그림 1-2). 정책·가치가 고른 행동이 실제 환경(비싸고 느리다)으로 가고, ① 실제 경험으로 정책·가치를 직접 학습하며, ② 같은 경험으로 World Model(싸고 빠르다)을 학습한다. ③ 모델이 상상으로 가상 경험 \((s, a, r, s')\) 를 만들고, ④ 그 가상 경험으로 정책·가치를 여러 번 더 학습한다.

실제 경험 한 번마다 상상 경험을 \(n\) 번 쓰는 뼈대(의사코드)는 아래와 같다.

for step in range(total_steps):
    a = policy(s)                      # 1. 행동을 고른다
    s_next, r = real_env.step(a)       # 2. 진짜 세상에서 해 본다 (비싸다)
    update_policy(s, a, r, s_next)     # 3. 진짜 경험으로 배운다
    model.update(s, a, r, s_next)      # 4. 세상의 규칙도 배운다

    for _ in range(n):                 # 5. 상상 경험으로 n 번 더 배운다 (싸다)
        s_im, a_im = sample_seen_state_action()
        s_im_next, r_im = model.predict(s_im, a_im)
        update_policy(s_im, a_im, r_im, s_im_next)
    s = s_next
  • \(n = 0\) 이면 model-free 와 같고, \(n\) 이 클수록 같은 실제 경험에서 더 많이 배운다.
  • 모델이 틀렸다면 상상 경험도 틀려서 오히려 해가 된다. 이 균형이 model-based 강화학습 전체에 걸친 고민이다.
  • MBPO(2019)는 Dyna 를 신경망 앙상블로 되살린 것이고, Dreamer 는 상상 경험만으로 정책을 배우는 극단적인 Dyna 로 볼 수 있다.

역사

"세상을 예측하는 모델을 배워 행동에 쓴다"는 생각은 오래되었지만, 높은 차원의 그림을 다룰 수 있게 된 것은 딥러닝 덕분이다.

연도

연구

핵심 생각

튜토리얼

1943

Craik, The Nature of Explanation

생물은 머릿속에 세상의 작은 모형을 두고 미리 시험해 본다는 가설

1장

1990

Schmidhuber, "Making the World Differentiable"

순환 신경망으로 환경을 모델링하고, 그 모델을 거쳐 미분해 컨트롤러를 학습

9·10장 (같은 생각)

1990~1991

Sutton, Dyna

실제 경험과 모델이 만든 가상 경험을 섞어 학습·계획

1장

2011

Deisenroth & Rasmussen, PILCO

가우시안 프로세스로 불확실성까지 담은 동역학 모델. 아주 적은 시도로 제어를 배움

7장 (불확실성이라는 생각)

2018

Ha & Schmidhuber, "World Models"

VAE(눈) + MDN-RNN(기억) + 작은 컨트롤러. 모델이 꾸는 꿈속에서 정책 학습

8·9·10장

2018

Chua 외, PETS

확률적 신경망 앙상블 + CEM 계획으로 높은 표본 효율

7장

2019

Hafner 외, PlaNet

RSSM: 결정적·확률적 경로를 함께 쓰는 잠재 동역학. 그림에서 배워 잠재 공간에서 계획

11장

2019~20

Schrittwieser 외, MuZero

관측을 복원하지 않고 보상·가치·정책만 맞추는 모델 + 트리 탐색. 바둑·체스·쇼기·Atari

13장

2020

Hafner 외, Dreamer

잠재 공간의 상상 속에서 액터-크리틱 학습

12장

2021

Hafner 외, DreamerV2

범주형(이산) 잠재 변수. World Model 안에서 배운 정책으로 Atari 55종에서 사람 수준

12장

2021

Ye 외, EfficientZero

MuZero 를 개선해, 게임마다 10만 스텝만 쓰는 Atari 100k 벤치마크에서 사람 점수를 넘는 평균 성능

13장

2022

LeCun, "A Path Towards Autonomous Machine Intelligence"

픽셀이 아니라 "표현"을 예측하는 JEPA 구조를 제안한 입장 논문

13장

2022·2024

Hansen 외, TD-MPC·TD-MPC2

디코더 없이 잠재 공간에서 MPC 로 계획하는 연속 제어용 World Model

13장

2023 (Nature 2025)

Hafner 외, DreamerV3

하나의 고정된 설정으로 150여 개 과제를 학습. Minecraft 에서 사람 데이터 없이 다이아몬드 수집

12장

2023

Micheli 외, IRIS

그림을 이산 토큰으로 바꾸고 Transformer 로 다음 토큰을 예측하는 World Model

13장

2024

OpenAI, Sora

시공간 패치를 토큰으로 쓰는 확산 Transformer. 비디오 생성 모델이 물리 세계의 시뮬레이터가 될 수 있다고 주장

13장

2024

Bruce 외, Genie

행동 라벨 없는 게임 영상에서 "잠재 행동"을 배워 조작 가능한 2D 세계를 생성

13장

2024

Alonso 외, DIAMOND

확산(diffusion) 모델로 만든 World Model 안에서 Atari 에이전트 학습

13장

2024

Valevski 외, GameNGen

확산 모델이 게임 DOOM 의 화면을 실시간으로 생성. 신경망이 게임 엔진을 대신함

13장

2024

Google DeepMind, Genie 2

그림 한 장에서 키보드·마우스로 조작할 수 있는 3D 세계를 생성

13장

2025

NVIDIA, Cosmos

로봇·자율주행 같은 물리 AI 를 위한 "world foundation model" 플랫폼 공개

13장

2025

Meta, V-JEPA 2

영상으로 자기지도 학습한, 그림이 아니라 "표현"을 예측하는 World Model. 로봇 계획에 활용

13장

2025

Google DeepMind, Genie 3

글로 지시한 3D 세계를 실시간으로 생성하고 사용자가 그 안을 돌아다닐 수 있음

13장

2025

Hafner 외, Dreamer 4

환경과 상호작용하지 않고 오프라인 데이터만으로 Minecraft 에서 다이아몬드를 얻었다고 보고

13장

2026

Google DeepMind, Genie 4

연구 미리보기로 공개. 세계에 맞는 소리를 실시간으로 함께 생성

13장

흐름은 세 단계로 요약된다. 작은 상태를 예측하는 모델(1990년대~2010년대), 그림을 압축한 잠재 공간에서 예측하는 모델(2018~2021), 거대한 데이터로 학습한 범용 영상·3D 세계 모델(2023~)이다. 튜토리얼은 이 순서를 따라간다.

분류 기준

"World Model"이라는 이름 아래에는 꽤 다른 것들이 섞여 있다. 다섯 기준으로 나누면 각 연구의 위치가 분명해진다.

기준 1. 무엇을 입력으로 보는가

  • 상태 기반: 위치·속도처럼 이미 정리된 숫자를 본다. 모델이 작고 배우기 쉽다. 로봇 관절 제어 등(6·7장).
  • 관측(그림) 기반: 카메라 그림 같은 날 데이터를 본다. 먼저 그림에서 쓸모 있는 정보를 뽑아내야 한다(8~12장).

기준 2. 무엇을 맞히도록 학습하는가

갈래

학습 목표

장점

단점

예

재구성형

미래의 관측(그림) 자체를 복원·생성

학습 신호가 풍부하다(픽셀 하나하나가 정답). 결과를 눈으로 확인할 수 있다.

과제와 상관없는 세부(배경 무늬 등)까지 맞히느라 용량을 쓴다.

Ha 의 World Models, PlaNet, Dreamer, 비디오 생성 모델

가치 등가형

미래의 보상·가치·정책만 맞히면 된다(관측은 복원하지 않는다).

과제에 필요한 것만 배운다.

보상이 드물면 학습 신호가 약하다. 다른 과제에 재사용하기 어렵다.

MuZero, (일부) TD-MPC

표현 예측형

미래 관측의 "표현(요약 벡터)"을 예측

예측할 수 없는 세부는 버리고 의미 있는 구조만 예측한다.

모든 것을 같은 벡터로 보내는 "붕괴"를 막는 장치가 필요하다.

JEPA 계열(V-JEPA 2)

기준 3. 결정적인가, 확률적인가

  • 결정적 모델: 같은 입력에 늘 같은 예측 하나를 낸다. 단순하지만, 미래가 여러 갈래일 때 그 평균을 예측하는 문제가 있다(아래 "확률성과 다봉성"). 6장.
  • 확률적 모델: 미래의 분포를 예측해 여러 가능성을 뽑아 볼 수 있다. 7·9·11·12장.

기준 4. 모델을 어디에 쓰는가

  • 계획에 쓰기: 행동할 때마다 모델 안에서 미래를 검색한다. PETS, PlaNet, MuZero, TD-MPC(7·11장).
  • 상상 속 정책 학습: 모델 안에서 정책을 미리 훈련한다. World Models, Dreamer, IRIS(10·12장).
  • 시뮬레이터·생성: 모델 자체를 사람이나 다른 AI 가 쓰는 세상으로 쓴다. GameNGen, Genie, Cosmos(13장).

기준 5. 어떤 신경망 구조인가

다층 퍼셉트론(MLP, 6장), 순환 신경망(RNN·RSSM, 9·11장), Transformer 와 확산 모델(13장) 순서로 발전해 왔다. 구조는 달라도 "과거와 행동을 보고 미래를 예측한다"는 일은 같다.

World Model 을 어렵게 만드는 네 가지

튜토리얼의 뒤쪽 장들은 아래 네 문제를 하나씩 풀어 가는 과정이다.

오차 누적

한 스텝 예측이 조금만 틀려도, 그 틀린 예측을 다시 입력으로 넣어 다음을 예측하면 오차가 쌓인다. 이것이 오차 누적(compounding error)이다.

\(k\) 스텝 뒤의 오차 크기를 \(e_k\), 매 스텝 모델이 새로 만드는 오차를 \(\varepsilon\) 이라 하고, 이미 있던 오차는 세상의 움직임 때문에 \(L\) 배로 늘어난다고 가정한다. \(L \gt 1\) 이면 작은 차이가 점점 커지는 세상이며, 진자가 위에 서 있을 때가 그렇다.

\(e_1 = \varepsilon, \qquad e_{k+1} = L\, e_k + \varepsilon\)

점화식을 풀면 등비수열의 합이 나온다.

\(\begin{align} e_2 &= L\varepsilon + \varepsilon = \varepsilon(1 + L) \\ e_3 &= L\varepsilon(1+L) + \varepsilon = \varepsilon(1 + L + L^2) \\ e_k &= \varepsilon\,(1 + L + L^2 + \cdots + L^{k-1}) = \varepsilon \sum_{j=0}^{k-1} L^j \end{align}\)

합을 \(S = \sum_{j=0}^{k-1} L^j\) 로 두면 \(LS = L + L^2 + \cdots + L^k\) 이고, 둘을 빼면 가운데 항이 모두 지워져 \(LS - S = L^k - 1\) 이 남는다. 따라서 \(S = (L^k - 1)/(L - 1)\) (\(L \ne 1\)) 이고,

\(e_k = \varepsilon\,\frac{L^k - 1}{L - 1}\)

  • \(L \gt 1\) 이면 \(L^k\) 때문에 오차가 기하급수적으로 커진다.
  • \(L = 1\) 이면 \(S = k\) 이므로 \(e_k = k\varepsilon\) 으로 일정하게 늘어난다.

\(\varepsilon = 0.01\), \(L = 1.2\) 일 때의 값은 다음과 같다.

\(k\)

\(L^k\)

\(e_k\)

10

\(1.2^{10} \approx 6.19\)

\(0.01 \times (6.19 - 1)/0.2 \approx 0.26\)

20

\(1.2^{20} \approx 38.34\)

\(0.01 \times (38.34 - 1)/0.2 \approx 1.87\)

한 스텝에서 0.01 이던 오차가 20 스텝 뒤에는 거의 190배가 된다. 6장에서 실제로 학습한 진자 모델로 이 현상을 확인하고, 7장에서는 짧게 상상하고 자주 다시 계획하는 방법(MPC)으로 피해 간다.

모델 착취

계획이나 정책 학습은 "모델 안에서 보상을 최대로" 만드는 행동을 찾는다. 모델이 어딘가에서 틀려 실제보다 보상을 후하게 준다면, 최적화는 정확히 그 틀린 곳을 찾아낸다. 이것이 모델 착취(model exploitation)다. 게임의 버그를 찾아 점수를 올리는 것과 비슷한데, 그 버그가 모델에만 있고 진짜 세상에는 없으므로 실제로 해 보면 실패한다. 10장의 World Models 논문은 이 현상을 "꿈속에서 속이기(cheating)"라고 불렀다.

해결책은 세 가지다.

  • 모델이 얼마나 확신하는지를 함께 예측해 불확실한 곳을 피한다(7장 앙상블).
  • 짧게만 상상한다.
  • 실제 데이터를 계속 모아 모델을 고친다.

부분 관측

그림 한 장으로는 진자가 지금 어느 방향으로 얼마나 빨리 도는지 알 수 없다. 정지 사진 속 공이 올라가는 중인지 내려가는 중인지 모르는 것과 같다. 관측이 상태의 일부만 보여 주는 상황을 부분 관측(partial observability)이라고 하며, 여러 장면을 기억해야 상태를 추론할 수 있다. 5장 POMDP, 9장 RNN, 11장 RSSM 에서 다룬다.

확률성과 다봉성

같은 상황에서도 결과가 여러 갈래일 수 있다. 동전을 던져 앞면(+1) 또는 뒷면(−1)이 반반으로 나오는 결과 \(y\) 를 숫자 하나 \(c\) 로 예측하면서 평균 제곱 오차 \(\mathbb{E}[(y - c)^2]\) 를 최소로 만들면, 그 예측은 평균이 된다.

\(\begin{align} J(c) &= \mathbb{E}[(y - c)^2] = \mathbb{E}[y^2 - 2cy + c^2] \\ &= \mathbb{E}[y^2] - 2c\,\mathbb{E}[y] + c^2 \\ \frac{dJ}{dc} &= -2\,\mathbb{E}[y] + 2c = 0 \;\Rightarrow\; c^\ast = \mathbb{E}[y] \end{align}\)

둘째 줄은 기댓값의 선형성(2장에서 증명)을 쓴 것이고, \(\mathbb{E}[y^2]\) 는 \(c\) 와 상관없는 상수라 미분하면 0 이다.

동전의 평균은 \(0.5 \times (+1) + 0.5 \times (-1) = 0\) 이다. 제곱 오차로 학습한 결정적 모델은 0 을 예측하는데, 0 은 절대 일어나지 않는 결과다. 그림으로 치면, 갈림길에서 자동차가 왼쪽 또는 오른쪽으로 갈 때 모델은 두 그림을 반씩 겹친 흐릿한 유령 차를 그린다. 가능한 결과가 여러 봉우리로 나뉜 분포를 다봉 분포(multimodal distribution)라고 한다.

해결책은 미래를 숫자 하나가 아니라 분포로 예측하는 것이다. 7장 가우시안 출력, 9장 혼합 밀도 네트워크, 11·12장 확률적 잠재 변수, 13장 확산 모델이 이 방향이다.

모델 기반 학습 고리

튜토리얼에서 만드는 모든 World Model 에이전트는 세부는 달라도 다음 네 단계를 되풀이한다(원문 그림 1-3).

  1. 경험 모으기: 데이터 \(D\) 에 \((o, a, r)\) 를 추가한다.
  2. World Model 학습: \(D\) 로 예측 오차를 줄인다.
  3. 계획·상상 학습: 모델 안에서 미래를 돌려 본다.
  4. 실제로 행동: 더 나은 정책으로 환경에서 행동한다.

새로 모은 경험이 모델을 고치고, 고친 모델이 더 나은 행동을 낳고, 더 나은 행동이 더 쓸모 있는 경험을 모은다.

D = collect_episodes(env, policy=None)        # 처음엔 무작위 행동으로 경험을 모은다

for iteration in range(num_iterations):
    world_model.train(D)                        # ② 모은 경험으로 세상의 규칙을 배운다
    policy = plan_or_learn_in_imagination(      # ③ 모델 안에서 계획하거나 정책을 연습한다
        world_model)
    new_episodes = collect_episodes(env, policy)  # ④ 실제 환경에서 행동해 본다
    D = D + new_episodes                        # ① 새 경험을 데이터에 더한다

한 번에 끝내지 않고 되풀이하는 이유는 세 가지다.

  • 처음 무작위 행동으로 모은 데이터에는 "막대가 위에 서 있는 장면"이 거의 없다. 그런 곳에서 모델은 틀리기 쉽다.
  • 조금 나아진 정책으로 행동하면 정책이 실제로 가 보는 곳(예: 위쪽 근처)의 데이터가 모이고, 그곳에서 모델이 정확해진다.
  • 모델이 착취당한 곳(모델은 좋다고 했지만 실제로는 나빴던 곳)의 진짜 결과가 데이터에 들어가 모델이 바로잡힌다.

장마다 ③ 단계의 구현이 다르다.

장

World Model

③ 계획·상상 학습

6~7

상태를 보는 MLP (결정적 → 확률적 앙상블)

행동마다 모델 안에서 행동열을 검색 (랜덤 슈팅, CEM, MPC)

8~10

VAE + MDN-RNN

꿈속에서 진화 전략(CMA-ES)으로 작은 컨트롤러 학습

11

RSSM

잠재 공간에서 CEM 계획 (PlaNet)

12

RSSM

상상 속 액터-크리틱 (Dreamer)

튜토리얼에서 직접 만드는 것

진자 하나를 무대로 World Model 을 단계별로 구현한다. 그 전에 2~5장에서 필요한 도구(확률, 정보 이론, 딥러닝, 강화학습)를 갖춘다.

  • 6장: 숫자 3개를 보고 다음 숫자 3개를 예측하는 신경망. 한 스텝은 잘 맞히지만 길게 상상하면 어긋나는 것(오차 누적)을 확인한다.
  • 7장: 그 모델 안에서 행동열을 검색해 실제 진자를 세운다. 모델이 자기 불확실성을 알게 만들어 모델 착취를 줄인다.
  • 8·9·10장: 그림을 32차원 벡터로 압축하고(VAE), 그 벡터의 미래를 예측하고(MDN-RNN), 그 "꿈" 속에서 컨트롤러를 학습한다.
  • 11·12장: 그림만 보고 진자를 세우는 PlaNet 과 Dreamer 를 처음부터 구현한다.

정리

  • World Model 은 "상태·행동 → 다음 상태·보상"을 예측하도록 데이터로 학습한 모델, 곧 머릿속 시뮬레이터다.
  • 강화학습의 "모델"은 전이 모델 \(p(s_{t+1} \mid s_t, a_t)\) 와 보상 모델 \(r_t = R(s_t, a_t)\) 두 가지다.
  • model-based 는 표본 효율이 높고 재사용이 쉬운 대신, 계산이 많고 모델 오차의 위험이 있다. Dyna 는 실제 경험과 상상 경험을 섞는 원조 구조다.
  • World Model 은 입력(상태/그림), 학습 목표(재구성/가치 등가/표현 예측), 확률성, 쓰임새(계획/상상 학습/시뮬레이터), 구조로 나눠 볼 수 있다.
  • 어려움은 네 가지다. 오차 누적(\(e_k = \varepsilon (L^k - 1)/(L - 1)\)), 모델 착취, 부분 관측, 확률성·다봉성(제곱 오차 예측은 평균으로 간다).
  • 모든 장의 에이전트는 "경험 모으기 → 모델 학습 → 계획·상상 학습 → 실제 행동" 고리를 되풀이한다.

확인 문제

1. model-based 강화학습의 장점이 아닌 것은? (가) 실제 경험을 아낀다 (나) 보상이 바뀌어도 모델을 재사용할 수 있다 (다) 계산량이 적다 (라) 행동 전에 계획할 수 있다
(다). 모델을 배우고 모델 안에서 계획·상상까지 해야 하므로 계산량은 보통 model-free 보다 많다. 대신 비싼 실제 경험을 아낀다.
2. \(p(s_{t+1} \mid s_t, a_t)\) 를 문장으로 읽고, 결정적인 세상에서 이 분포의 모양을 말하라.
"지금 상태가 \(s_t\) 이고 행동 \(a_t\) 를 했을 때, 다음 상태가 \(s_{t+1}\) 일 확률(밀도)"이다. 결정적인 세상에서는 한 점 \(f(s_t, a_t)\) 에만 확률 1 이 몰린 분포다.
3. 오차 누적 모형에서 \(\varepsilon = 0.01\), \(L = 1.1\) 일 때 \(e_{10}\) 은? (\(1.1^{10} \approx 2.594\))
\(e_{10} = 0.01 \times (2.594 - 1)/0.1 = 0.01 \times 15.94 \approx 0.159\). 한 스텝 오차의 약 16배다. \(L\) 이 1.2 에서 1.1 로 조금만 작아져도 \(e_{10}\) 이 약 0.26 에서 0.16 으로 크게 줄어든다.
4. 다음 결과가 확률 0.8 로 10, 확률 0.2 로 0 일 때, 제곱 오차로 학습한 결정적 모델의 예측과 그 문제점은?
평균 \(0.8 \times 10 + 0.2 \times 0 = 8\) 을 예측한다. 실제로는 10 이나 0 만 나오고 8 은 한 번도 나오지 않는다. 다봉 분포를 숫자 하나로 요약하면 일어날 수 없는 미래를 상상하게 된다.
5. Dyna 에서 상상 횟수 \(n\) 을 0 으로 하면 무엇이 되고, 아주 크게 하면 어떤 위험이 있는가?
\(n = 0\) 이면 모델을 쓰지 않는 model-free 학습과 같다. \(n\) 이 아주 크면 정책이 거의 상상 경험으로만 학습되므로, 모델이 틀린 곳의 잘못된 경험을 그대로 배우는 위험(모델 착취·모델 편향)이 커진다.

See also

Favorite site

author MCPBot, Zer0 sitemap