WorldModels:Tutorial:14-Appendix
lastmod 2026-11-18created 2026-11-172 edits
부록: 디버깅 · 용어집 · 다음 걸음은 World Model 튜토리얼의 14장이다. World Model 을 직접 만들다가 손실이 NaN 이 되거나, 재구성이 흐리거나, 상상 속에서는 잘하는데 실제로는 못하는 에이전트를 만났을 때 찾아보는 참고 자료를 모았다. 디버깅 점검 순서와 증상별 처방, 수치 안정성 공식의 유도, 원 논문과 튜토리얼의 하이퍼파라미터, 장별 핵심 수식, 한영 용어집, 논문 읽는 순서, 공개 구현, 자주 묻는 질문, 후속 프로젝트를 담는다.
- 원문: 14. 부록: 디버깅 · 용어집 · 다음 걸음
- 실습 코드: 전용 파일은 없고 본문의 짧은 점검 조각만 있다. 환경은
code/wm_envs.py를 쓴다. - 이전: 13. 현대 World Model 지형도 / 다음: 없음(마지막 장)
처음 30분 점검 순서
World Model 은 부품(인코더 · 동역학 · 디코더 · 보상 · 정책)이 많고 강화학습은 결과의 분산이 커서 틀린 곳을 찾기 어렵다. 무언가 이상하면 하이퍼파라미터를 바꾸기 전에 다음 순서로 점검한다. 대부분의 버그는 앞의 세 단계에서 잡힌다.
- 데이터를 눈으로 본다. 관측 그림 몇 장을 저장해 열어 보고 값의 최솟값 · 최댓값 · 평균을 출력한다. 그림이 0–255 인지 0–1 인지, 행동의 범위(환경은 [−2, 2], 11 · 12장 에이전트의 출력은 [−1, 1])가 맞는지 확인한다.
- 모양(shape)을 확인한다. 텐서마다 기대하는 모양을 주석으로 적고
assert로 확인한다. 특히 시간 축 \(T\) 와 배치 축 \(B\) 의 순서, 관측(\(T+1\) 개)과 행동(\(T\) 개)의 짝을 본다. - 아주 작은 데이터에 과적합시켜 본다. 배치 하나(예: 시퀀스 4개)만 반복해서 학습시키면 손실이 거의 0 까지 내려가야 한다. 안 내려가면 모델이나 손실 코드에 버그가 있다.
- 손실을 항별로 따로 기록한다. 재구성 · 보상 · KL · 액터 · 크리틱을 합친 값만 보면 어느 항이 문제인지 알 수 없다.
- 기준 점수와 비교한다. "다음 상태 = 지금 상태" 로 예측하는 모델, 무작위 정책의 리턴 같은 단순한 기준 점수보다 나은지 본다(5 · 6장의 기준 점수).
- 기울기의 크기를 기록한다. 기울기 노름이 0 이면 기울기가 끊긴 것이고(
.detach()실수), 갑자기 수천으로 튀면 폭발이다. - 시드를 고정하고 여러 시드로 돌린다. 한 시드의 좋은 결과는 운일 수 있다. 3 – 5개 시드의 평균과 범위를 본다.
- 그다음에야 하이퍼파라미터를 바꾼다. 한 번에 하나씩, 학습률부터 바꾼다.
위 점검을 코드로 옮긴 조각이다. 학습 루프 안에 넣어 두면 문제를 일찍 잡는다.
import random
import numpy as np
import torch
def set_seed(seed):
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed) # CPU · GPU 모두
def check(name, x, shape=None):
"""모양과 유한성(NaN · inf 없음)을 확인한다."""
if shape is not None:
assert tuple(x.shape) == tuple(shape), f"{name}: {tuple(x.shape)} != {shape}"
assert torch.isfinite(x).all(), f"{name} 에 NaN 또는 inf 가 있습니다"
def grad_norm(model):
"""모든 매개변수 기울기를 한 벡터로 이었을 때의 길이."""
total = 0.0
for p in model.parameters():
if p.grad is not None:
total += p.grad.detach().pow(2).sum().item()
return total ** 0.5
# 학습 루프 안에서
# check("obs", obs, (B, L, 64, 64)) # 11장의 배치: 길이 L, 채널 축 없음
# loss.backward()
# print("grad norm", grad_norm(model))
# torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=100.0)
# NaN 이 어디서 처음 생기는지 찾을 때만 켠다 (느려진다)
# torch.autograd.set_detect_anomaly(True)
가장 흔한 조용한 버그: 브로드캐스팅
예측 pred 의 모양이 (B, 1) 이고 목표 target 이 (B,) 이면 (pred - target) ** 2 는 오류 없이 (B, B) 행렬이 된다. 모든 예측이 모든 목표와 비교되어 모델은 평균만 예측하도록 배운다. 손실은 줄어드는 것처럼 보여서 알아채기 어렵다. 손실을 계산하기 직전에 두 텐서의 모양이 같은지 확인한다.
증상, 원인, 처방
자주 만나는 증상을 부품별로 모은 표다. "관련 장" 의 숫자는 자세한 설명과 유도가 있는 튜토리얼의 장 번호다.
데이터 · 모양
| 증상 | 흔한 원인 | 처방 | 관련 장 |
| 손실이 처음부터 터무니없이 크거나 작다 | 입력을 정규화하지 않았거나 두 번 했다. 그림을 0–255 그대로 넣었다 | 입력의 범위를 출력해 본다. 그림은 /255 (−0.5), 숫자 상태는 표준화 | 06 · 08 |
| 모델이 늘 비슷한 값(평균)만 예측한다 | 브로드캐스팅으로 손실이 (B, B) 가 됨. 입력과 목표의 짝이 어긋남 | 손실 직전 모양 확인, 데이터 몇 개를 손으로 대조 | 04 |
| 예측이 한 스텝씩 밀려 있다 | 관측은 \(T{+}1\) 개, 행동 · 보상은 \(T\) 개인데 인덱스를 잘못 짝지음 | \((o_t, a_t) \to o_{t+1}\), \(r_t\) 의 짝을 그림으로 확인 ( | 06 · 11 |
| 합성곱 층에서 모양 오류 | 그림이 (B, H, W, C) 인데 PyTorch 는 (B, C, H, W) 를 기대 | | 04 · 08 |
| 각도 ±π 근처에서 예측이 튄다 | 각도 \(\theta\) 를 그대로 입력 · 출력해 \(\pi\) 와 \(-\pi\) 가 멀리 떨어진 숫자가 됨 | \((\cos\theta, \sin\theta)\) 로 표현 | 06 |
수치 안정성
| 증상 | 흔한 원인 | 처방 | 관련 장 |
| 손실이 NaN · inf 가 된다 | \(\log 0\), \(e^{x}\) 넘침, 표준편차 0, 학습률이 너무 큼 | 아래 "NaN 을 막는 수치 안정성 공식" 절의 안정 공식( | 02 · 09 |
| 가우시안 NLL 이 끝없이 내려간다(−∞ 쪽으로) | 예측 표준편차 \(\sigma \to 0\) 으로 몇 점에 과적합 | \(\sigma = \operatorname{softplus}(x) + \sigma_{\min}\), \(\log\sigma^2\) 의 범위를 제한 | 07 · 11 |
| MDN 학습 중 갑자기 NaN | 혼합 가중치의 \(\log\sum\exp\) 를 그대로 계산해 넘침 | | 09 |
| BCE 가 inf | sigmoid 를 먼저 하고 \(\log\) 를 취해 \(\log 0\) | 로짓을 받아 바로 계산하는 | 08 |
학습 동역학
| 증상 | 흔한 원인 | 처방 | 관련 장 |
| 손실이 전혀 줄지 않는다 | 학습률이 너무 작음, 기울기가 끊김( | 작은 데이터 과적합 시험, 기울기 노름 기록, | 04 |
| 손실이 튀다가 발산한다 | 학습률이 곡률에 비해 큼(\(\eta \gt 2/a\)), RNN 의 기울기 폭발 | 학습률을 1/3 씩 줄이기, 기울기 자르기 | 04 · 09 |
| 학습 손실은 주는데 새 데이터에서 나빠진다 | 과적합(데이터가 적음) | 데이터 더 모으기, 검증 손실로 조기 종료, 가중치 감쇠, 모델 줄이기 | 06 |
| 시드마다 결과가 크게 다르다 | 강화학습의 높은 분산, 초기 데이터의 운 | 여러 시드의 평균 · 범위로 판단, 평가 에피소드 늘리기 | 05 |
잠재 변수 모델 (VAE · RSSM)
| 증상 | 흔한 원인 | 처방 | 관련 장 |
| KL 이 0 에 붙고 재구성은 늘 같은 “평균 그림” | 사후 붕괴: 디코더가 잠재를 무시함, KL 가중치가 큼 | β 줄이기, KL 가중치를 0 에서 서서히 올리기(warm-up), 자유 내트(free nats) · 자유 비트(free bits) | 08 · 11 · 12 |
| 재구성이 흐리다 | MSE 가 가능한 그림들의 평균을 맞힘, 디코더 용량 부족, β 가 큼 | 디코더 키우기, β 조정, 여러 갈래를 표현하는 모델(MDN · 확률적 잠재 · 확산) | 08 · 09 · 13 |
| 재구성은 좋은데 상상(사전) 롤아웃이 엉망 | 사후 분포만 잘 배우고 전이(사전)가 따라오지 못함 | 열린 고리 상상 그림으로 점검, KL 균형, 학습 더 하기, 잠재 과대 예측 | 11 · 12 |
| 작은 물체(진자 막대)가 재구성에서 사라진다 | 그림 대부분이 배경이라 그 물체가 손실에서 차지하는 몫이 작음 | 해상도 · 디코더 용량 늘리기, 결과 그림을 늘 눈으로 확인 | 08 |
| KL 이 줄지 않고 계속 크다 | 사전이 사후를 따라잡지 못함, 표준편차 하한이 너무 작음 | KL 균형(사전 쪽에 더 큰 가중치), 최소 표준편차 조정 | 12 |
예측 · 계획 · 정책
| 증상 | 흔한 원인 | 처방 | 관련 장 |
| 한 스텝 예측은 좋은데 여러 스텝에서 발산 | 오차 누적(립시츠 상수 \(L \gt 1\) 이면 오차가 지수적으로 큼) | 여러 스텝 손실로 학습, 변화량 \(\Delta o\) 예측, 앙상블, 상상 길이 줄이기 | 06 |
| 상상 속 리턴은 높은데 실제 리턴은 낮다 | 모델 착취: 정책이 모델의 틀린 곳을 이용 | 앙상블 불확실성 벌점, 짧은 상상, 데이터 더 모으기, 꿈의 온도 높이기 | 10 · 12 |
| MPC 가 너무 느리다 | 후보 수 × 상상 길이 × 반복 횟수만큼 모델을 돌림 | GPU 에서 후보를 한 배치로, 후보 줄이기, 지난 해를 한 칸 밀어 시작점으로(warm start), 정책 사전 · 가치로 상상 길이 줄이기 | 07 · 13 |
| 액터의 행동이 늘 ±최대값 | tanh 포화, 엔트로피가 너무 빨리 줄어듦 | 엔트로피 보너스 키우기, 행동 범위 · 스케일 확인 | 12 |
| 크리틱 손실이 계속 커진다 | 보상 크기가 큼, 목표가 계속 움직임 | 보상 스케일 줄이기(11장은 0.1 배), 느린(목표) 크리틱, symlog · two-hot · 리턴 정규화 | 11 · 12 |
| 과제마다 설정을 다시 맞춰야 한다 | 보상 · 리턴의 크기에 민감한 설계 | DreamerV3 의 symlog, 리턴 정규화(백분위) | 12 |
NaN 을 막는 수치 안정성 공식
float32 는 약 \(3.4 \times 10^{38}\) 보다 큰 수를 담지 못하고 inf 가 된다. \(e^{89} \approx 4.5 \times 10^{38}\) 이므로 지수 함수는 쉽게 넘친다. 아래는 PyTorch 의 안정 함수들이 내부에서 쓰는 공식의 유도다.
안정적인 softplus
정의 \(\operatorname{softplus}(x) := \log(1 + e^{x})\) 는 \(x\) 가 크면(예: \(x = 1000\)) \(e^x\) 가 넘쳐 inf 가 된다. 경우를 나누어 \(e^x\) 를 묶어 낸다.
\(\begin{align} x \ge 0: \quad \log(1 + e^{x}) &= \log\big(e^{x}(e^{-x} + 1)\big) = x + \log(1 + e^{-x}) \\ x \lt 0: \quad \log(1 + e^{x}) &= 0 + \log(1 + e^{-\lvert x\rvert}) \end{align}\)
두 경우를 한 식으로 합치면 다음과 같다.
\(\operatorname{softplus}(x) = \max(x, 0) + \log\big(1 + e^{-\lvert x\rvert}\big)\)
지수에 들어가는 값이 늘 0 이하라 어떤 \(x\) 에서도 넘치지 않는다. \(x = 1000\) 이면 \(1000 + \log(1 + e^{-1000}) = 1000\) 으로 정확히 계산된다.
로짓으로 계산하는 이진 교차 엔트로피
8장의 베르누이 디코더처럼 확률 \(p = \sigma(x)\) 를 신경망의 로짓 \(x\) 로 낼 때, \(\sigma(x)\) 를 먼저 계산하고 \(\log\) 를 취하면 \(\sigma(x)\) 가 0 으로 반올림되어 \(\log 0 = -\infty\) 가 된다. 로짓에서 바로 계산하는 식은 다음 순서로 나온다.
\(\begin{align} \log \sigma(x) &= \log\frac{1}{1 + e^{-x}} = -\log(1 + e^{-x}) = -\operatorname{softplus}(-x) \\ \log\big(1 - \sigma(x)\big) &= \log\frac{e^{-x}}{1 + e^{-x}} = \log\frac{1}{e^{x} + 1} = -\operatorname{softplus}(x) \\ \operatorname{softplus}(-x) &= \log(1 + e^{-x}) = \log\big(e^{-x}(e^{x} + 1)\big) = -x + \operatorname{softplus}(x) \end{align}\)
2장의 BCE 정의에 앞의 두 결과를 넣으면 부호가 상쇄된다.
\(\text{BCE} = -\big[y \log\sigma(x) + (1 - y)\log(1 - \sigma(x))\big] = y\,\operatorname{softplus}(-x) + (1 - y)\,\operatorname{softplus}(x)\)
셋째 줄을 넣어 정리한 결과다.
\(\text{BCE}(x, y) = y\big(\operatorname{softplus}(x) - x\big) + (1 - y)\operatorname{softplus}(x) = \operatorname{softplus}(x) - y\,x\)
- \(\log 0\) 이 생길 자리가 없고, softplus 를 위의 안정 공식으로 계산하므로 어떤 로짓에서도 유한하다. PyTorch 의
binary_cross_entropy_with_logits가 이렇게 계산한다. - 예: \(x = 50\), \(y = 0\) 이면 \(\sigma(50)\) 은 float32 로 정확히 1 이 되어 \(\log(1 - 1) = -\infty\) 지만, 이 식은 \(\operatorname{softplus}(50) - 0 = 50\) 을 준다.
기울기 자르기
clip_grad_norm_(params, max_norm=c) 는 기울기 벡터 \(g\)(모든 매개변수의 기울기를 한 줄로 이은 것)에 양수 하나를 곱한다.
\(g' = g \cdot \min\!\Big(1,\ \frac{c}{\lVert g \rVert}\Big)\)
- \(\lVert g \rVert \le c\) 이면 \(c/\lVert g\rVert \ge 1\) 이라 \(\min(\cdot) = 1\) 이고 \(g' = g\) 다.
- \(\lVert g \rVert \gt c\) 이면 \(\lVert g' \rVert = \frac{c}{\lVert g \rVert}\,\lVert g \rVert = c\) 다(양수 \(k\) 를 곱하면 길이도 \(k\) 배).
\(\lVert g' \rVert = \min(\lVert g \rVert,\ c), \qquad \frac{g'}{\lVert g' \rVert} = \frac{g}{\lVert g \rVert}\)
양수를 곱했으므로 방향은 그대로이고 길이만 \(c\) 를 넘지 않는다. 예: \(g = (30, 40)\), \(c = 10\) 이면 \(\lVert g\rVert = 50\), \(g' = (30, 40) \times \frac{10}{50} = (6, 8)\). 내려가는 방향은 맞지만 너무 멀리 뛰는 스텝만 줄인다.
표준편차의 하한과 NLL 의 바닥
1차원 가우시안 NLL 은 2장에서 유도한 로그 밀도의 부호를 바꾼 것이다.
\(\text{NLL} = \frac{(y - \mu)^2}{2\sigma^2} + \log\sigma + \frac{1}{2}\log(2\pi)\)
첫 항은 0 이상이고 예측이 정확히 맞으면(\(y = \mu\)) 0 이므로 \(\text{NLL} \ge \log\sigma + \frac{1}{2}\log(2\pi)\) 다. \(\log\) 는 증가 함수이므로 하한을 두면 바닥이 생긴다.
\(\sigma \ge \sigma_{\min} \;\Rightarrow\; \text{NLL} \ge \log\sigma_{\min} + \frac{1}{2}\log(2\pi)\)
- 하한이 없으면 모델은 맞힌 점에서 \(\sigma \to 0\) 으로 보내 \(\log\sigma \to -\infty\) 로 손실을 끝없이 줄일 수 있다.
- \(\sigma_{\min} = 0.1\) 이면 바닥은 \(-2.303 + 0.919 = -1.384\) 다.
- 7장의
min_logvar와 9장의log_sigma.clamp(-7, 2)가 이 역할을 한다. 11장의min_std = 0.1은 같은 생각을 잠재 분포의 \(\sigma\) 에 쓴 것이다.
하이퍼파라미터 참고표
원 논문의 값은 그 논문의 환경과 규모에서 잘 된 값이므로 출발점으로 삼는다. 같은 논문이라도 판(version)과 공식 코드에 따라 값이 다를 수 있으니, 정확한 재현이 필요하면 원문 부록과 공식 코드의 설정 파일을 확인한다.
원 논문의 값
| 방법 | 모델 | 학습 | 계획 · 행동 학습 | 데이터 수집 |
| PETS | 확률적 신경망 앙상블 5개 (완전 연결층 3개, 층당 500 단위(HalfCheetah 는 250), Swish) | 가우시안 NLL, \(\log\sigma\) 상 · 하한 | CEM-MPC, 궤적 표본 전파 입자 20개 (계획 길이 · 후보 수 · 정예 수는 논문 본문에 없고 공개 코드에서 과제마다 정함) | 에피소드마다 모델 다시 학습 |
| World Models | VAE \(z\) 32차원(Doom 64), 64×64 컬러 · MDN-RNN: LSTM 256(Doom 512), 가우시안 5개 | VAE → MDN-RNN → 컨트롤러 순서로 따로 학습 | 선형 컨트롤러(CarRacing 867개 매개변수), CMA-ES 개체 64, 개체마다 16 롤아웃 · Doom 꿈 학습 온도 \(\tau = 1.15\) | 무작위 정책 롤아웃 10,000개 |
| PlaNet | RSSM: \(h\) 200(GRU), \(z\) 30 | 배치 50 × 길이 50, Adam 학습률 \(10^{-3}\), \(\epsilon = 10^{-4}\), 기울기 자르기 1000, 자유 내트 3 | CEM: 계획 길이 12, 반복 10, 후보 1000, 정예 100 | 시드 에피소드 5, 학습 100번마다 1 에피소드, 탐험 잡음 \(\mathcal{N}(0, 0.3^2)\), 행동 반복 2 – 8 |
| Dreamer (V1) | PlaNet 과 같은 RSSM (200 / 30) | 학습률 모델 \(6 \times 10^{-4}\), 액터 · 가치 \(8 \times 10^{-5}\), 기울기 자르기 100, 자유 내트 3 | 상상 길이 \(H = 15\), \(\gamma = 0.99\), \(\lambda = 0.95\), 동역학 역전파로 액터 학습 | 행동 반복 2, 탐험 잡음 0.3 |
| DreamerV2 (Atari) | 범주형 잠재 32개 × 클래스 32, GRU 600 | KL 균형 \(\alpha = 0.8\), KL 가중치 0.1 (연속 제어 1.0), 학습률 모델 \(2\times10^{-4}\) · 액터 \(4\times10^{-5}\) · 크리틱 \(10^{-4}\), 배치 50 × 길이 50 (arXiv v4 부록 표 D.1) | \(H = 15\), \(\gamma = 0.999\) (본문 2.1절의 값. 같은 논문의 부록 표에는 0.995 로 적혀 있음), \(\lambda = 0.95\), 엔트로피 \(10^{-3}\) (연속 제어 \(10^{-4}\)), REINFORCE 경사, 느린 크리틱 100번마다 | Atari 표준 설정(프레임 건너뛰기 4) |
| DreamerV3 | 범주형 잠재 32 × 32 + unimix 1%, 크기별 모델(작은 것 ~ 수억 매개변수) | 자유 비트(free bits) 1, KL 가중치 \(\beta_{\text{rep}} = 0.1\) · \(\beta_{\text{dyn}}\) 은 판에 따라 다름(arXiv 초판 v1, 2023년 1월: 0.5 / 개정판 v2, 2024년 4월: 1), symlog · two-hot, 배치 16 × 64, 학습률도 판에 따라 다름(초판 모델 \(10^{-4}\) · 액터 · 크리틱 \(3\times10^{-5}\), 개정판 \(4\times10^{-5}\)) | \(H = 15\), 할인 지평 333(\(\gamma \approx 0.997\)), \(\lambda = 0.95\), 엔트로피 \(3\times10^{-4}\), 리턴 정규화(5 – 95 백분위), 크리틱 EMA | 모든 영역에서 같은 설정 을 쓰는 것이 핵심 |
이 튜토리얼의 설정
개인 컴퓨터에서 몇 분에서 수십 분 안에 돌도록 줄인 값이다. 각 실습 파일의 argparse 기본값과 Config 에서 바꿀 수 있다.
| 장 · 파일 | 주요 설정 |
| 06 · | 무작위 에피소드 50개, 100 에폭 |
| 07 · | 계획 길이 25, 랜덤 슈팅 후보 1000, CEM 후보 400 · 정예 40 · 반복 5, 반복 학습 8회 |
| 07 · | 앙상블 5개(은닉 128), 후보 200, 입자 10, 계획 길이 25 |
| 08 · | \(z\) 32차원, \(\beta = 1\), 에피소드 200개, 10 에폭 |
| 09 · | LSTM 256, 가우시안 5개, 6000 스텝 |
| 10 · | 컨트롤러 \(a = 2\tanh(W[z; h] + b)\) (289개 매개변수), CMA-ES 60세대 · 개체 32 · 롤아웃 4 · \(\sigma_0 = 0.1\), 꿈 온도 0.1 · 1.0 · 1.5 |
| 11 · | \(h\) 200, \(z\) 30, 배치 50 × 50, 학습률 \(6\times10^{-4}\), 기울기 자르기 100, 자유 내트 3, 보상 × 0.1, CEM 12 · 1000 · 10 · 100, 행동 반복 2, 시드 에피소드 5, 탐험 잡음 0.3 |
| 12 · | 11장 설정 + \(H = 15\), \(\gamma = 0.99\), \(\lambda = 0.95\), 액터 · 크리틱 학습률 \(8\times10^{-5}\), 엔트로피 \(10^{-4}\), 느린 크리틱 100번마다, 액터 · 크리틱 MLP 300 × 3 |
| 13 · | 잡음 단계 100, \(\beta\) 0.0001 → 0.15, MLP 256 × 3, 8000 스텝 |
무엇부터 바꿀까
- 잘 안 될 때 효과가 큰 순서는 대략 ① 데이터 양(에피소드 · 학습 스텝 수), ② 학습률, ③ 모델 크기, ④ KL 관련 값(β · 자유 내트), ⑤ 상상 · 계획 길이다.
- 할인율 \(\gamma\) 는 몇 스텝 앞까지 보는지를 정하므로(\(\frac{1}{1-\gamma}\) 스텝 정도, 5장) 과제의 시간 규모에 맞춘다. 12장의 진자는 행동 반복 2 로 100번 결정하므로 \(\gamma = 0.99\)(약 100 스텝)이면 충분하다.
장별 핵심 수식 모음
튜토리얼에서 유도한 핵심 식을 장 순서로 모은 표다. 유도 과정은 각 장 문서에 있고, 기호는 튜토리얼 00장의 표기 규칙을 따른다.
기초 체력 (02 – 05장)
| 식 | 뜻 | 장 |
| \(p(y \mid x) = \dfrac{p(x \mid y)\,p(y)}{p(x)}\) | 베이즈 정리 | 02 |
| \(p(x_{1:N}) = \prod_{i=1}^{N} p(x_i \mid x_{1:i-1})\) | 확률의 연쇄 법칙(곱셈 법칙을 되풀이한 것) | 02 |
| \(\mathbb{E}[X] = \sum_y p(y)\,\mathbb{E}[X \mid y]\) | 전체 기댓값의 법칙 (경우를 나눠 평균 내기. 5장 벨만 방정식 유도에 쓴다) | 02 |
| \(\operatorname{Var}[X] = \mathbb{E}[X^2] - (\mathbb{E}[X])^2\), \(\ \operatorname{Var}[aX + b] = a^2\operatorname{Var}[X]\) | 분산의 성질 | 02 |
| \(\log \mathcal{N}(x; \mu, \sigma^2) = -\tfrac12\log(2\pi) - \log\sigma - \dfrac{(x-\mu)^2}{2\sigma^2}\) | 가우시안 로그 밀도 | 02 |
| \(\hat\mu = \tfrac{1}{N}\sum_i x_i\), \(\ \hat\sigma^2 = \tfrac1N\sum_i (x_i - \hat\mu)^2\) | 가우시안 최대우도 추정 | 02 |
| \(\operatorname*{arg\,min}_\theta \text{NLL} = \operatorname*{arg\,min}_\theta \text{MSE}\) (\(\sigma\) 고정) | MSE 는 고정 분산 가우시안의 NLL | 02 |
| \(\text{BCE} = -[y\log p + (1-y)\log(1-p)]\), \(\ \text{CE} = -l_y + \log\sum_j e^{l_j}\) | 베르누이 · 범주형 NLL | 02 |
| \(H(p) = -\sum_x p(x)\log p(x)\), \(\ H(p, q) = -\sum_x p(x)\log q(x)\) | 엔트로피, 교차 엔트로피 | 03 |
| \(D_{\mathrm{KL}}(p\,\Vert \,q) = H(p, q) - H(p) = \mathbb{E}_p\!\big[\log\tfrac{p}{q}\big] \ge 0\) | KL 발산과 그 성질 | 03 |
| \(D_{\mathrm{KL}}\big(\mathcal{N}(\mu_1,\sigma_1^2)\,\Vert \,\mathcal{N}(\mu_2,\sigma_2^2)\big) = \log\tfrac{\sigma_2}{\sigma_1} + \dfrac{\sigma_1^2 + (\mu_1-\mu_2)^2}{2\sigma_2^2} - \tfrac12\) | 두 가우시안의 KL | 03 |
| \(f(\mathbb{E}[X]) \ge \mathbb{E}[f(X)]\) (\(f\) 오목) | 젠센 부등식 | 03 |
| \(\dfrac{dy}{dx} = \dfrac{dy}{du}\cdot\dfrac{du}{dx}\) | 연쇄 법칙 (역전파의 바탕) | 04 |
| \(\theta \leftarrow \theta - \eta\,\nabla_\theta L\), \(\ 0 \lt \eta \lt 2/a\) | 경사 하강법과 수렴 조건(곡률 \(a\)) | 04 |
| \(\sigma'(z) = \sigma(z)(1 - \sigma(z))\), \(\ \tanh'(z) = 1 - \tanh^2 z\) | 활성 함수의 미분 | 04 |
| \(G_t = \sum_{k \ge 0}\gamma^k r_{t+k} = r_t + \gamma G_{t+1}\), \(\ \sum_{k\ge0}\gamma^k = \dfrac{1}{1-\gamma}\) | 할인된 리턴과 그 재귀식 | 05 |
| \(V^\pi(s) = \sum_a \pi(a\mid s)\sum_{s'}p(s'\mid s,a)\big[r(s,a,s') + \gamma V^\pi(s')\big]\) | 벨만 기대 방정식 | 05 |
| \(V^\ast(s) = \max_a \sum_{s'}p(s'\mid s,a)\big[r(s,a,s') + \gamma V^\ast(s')\big]\) | 벨만 최적 방정식 (가치 반복의 바탕) | 05 |
| \(\nabla_\psi J = \mathbb{E}_{\tau}\big[R(\tau)\sum_t \nabla_\psi\log\pi_\psi(a_t\mid s_t)\big]\) | 정책 경사 정리 (로그 미분 트릭, REINFORCE) | 05 |
첫 World Model (06 – 07장)
| 식 | 뜻 | 장 |
| \(I = \tfrac13 ml^2\), \(\ \ddot\theta = \dfrac{3g}{2l}\sin\theta + \dfrac{3}{ml^2}u\) | 진자의 관성 모멘트와 운동 방정식 | 06 |
| \(\dot\theta \leftarrow \dot\theta + \ddot\theta\,\Delta t\), \(\ \theta \leftarrow \theta + \dot\theta\,\Delta t\) | (반암시적) 오일러 적분 | 06 |
| \(\tilde x = (x - \mu)/\sigma\) | 표준화 | 06 |
| \(e_k \le \varepsilon\,\dfrac{L^k - 1}{L - 1}\) | 열린 고리 롤아웃의 오차 누적 상한 | 06 |
| \(a^\ast_{t:t+H-1} = \operatorname*{arg\,max} \sum_{k=0}^{H-1} r(\hat o_{t+k}, a_{t+k})\), \(\ \hat o_{t+k+1} = f_\theta(\hat o_{t+k}, a_{t+k})\) | MPC 의 계획 목표 | 07 |
| \(\mu \leftarrow \tfrac{1}{K}\sum_{k \in \text{정예}} a^{(k)}\), \(\ \sigma^2 \leftarrow \tfrac1K\sum_k (a^{(k)} - \mu)^2\) | CEM: 정예로 가우시안 다시 맞추기(최대우도) | 07 |
| \(\mathcal{L}(\mu, s) = (y - \mu)^2 e^{-s} + s\), \(\ s = \log\sigma^2\) | 분산까지 예측하는 가우시안 NLL (상수 · ½ 생략, PETS) | 07 |
| \(\operatorname{Var}[y] = \tfrac1E\sum_e \sigma_e^2 + \tfrac1E\sum_e(\mu_e - \bar\mu)^2\) | 앙상블의 불확실성 = 우연적(분산의 평균) + 인식적(평균의 퍼짐) | 07 |
그림을 보는 World Model (08 – 10장)
| 식 | 뜻 | 장 |
| \(p_\theta(x) = \int p_\theta(x\mid z)\,p(z)\,dz\) | 잠재 변수 모델의 주변 가능도 | 08 |
| \(\log p_\theta(x) \ge \mathbb{E}_{q_\phi(z\mid x)}[\log p_\theta(x\mid z)] - D_{\mathrm{KL}}(q_\phi(z\mid x)\,\Vert \,p(z))\) | ELBO | 08 |
| \(\log p_\theta(x) = \text{ELBO} + D_{\mathrm{KL}}(q_\phi(z\mid x)\,\Vert \,p_\theta(z\mid x))\) | ELBO 와 진짜 로그 가능도의 차이 | 08 |
| \(z = \mu + \sigma\odot\epsilon\), \(\ \epsilon\sim\mathcal{N}(0, I)\) | 재매개변수화 트릭 | 08 |
| \(D_{\mathrm{KL}}(\mathcal{N}(\mu,\sigma^2)\,\Vert \,\mathcal{N}(0,1)) = \tfrac12(\mu^2 + \sigma^2 - 1 - \log\sigma^2)\) | VAE 의 KL 항(차원별로 더함) | 08 |
| \(\dfrac{\partial L_T}{\partial h_k} = \dfrac{\partial L_T}{\partial h_T}\prod_{t=k+1}^{T}\operatorname{diag}(1 - h_t^2)\,W_h\) | RNN 의 먼 과거 기울기(소실 · 폭발의 원인) | 09 |
| \(\log p(y\mid x) = \operatorname{logsumexp}_k\big(\log\pi_k + \log\mathcal{N}(y;\mu_k,\sigma_k^2)\big)\) | 혼합 밀도 네트워크의 로그 가능도 | 09 |
| \(\log\sum_k e^{a_k} = m + \log\sum_k e^{a_k - m}\), \(\ m = \max_k a_k\) | log-sum-exp 안정화 | 09 |
| \(a_t = 2\tanh(W_c[z_t; h_t] + b_c)\) | 이 튜토리얼의 컨트롤러 (Ha 의 선형 컨트롤러 \(W_c[z_t; h_t] + b_c\) 에 토크 범위를 맞추는 \(2\tanh\) 를 씌운 것) | 10 |
| \(\nabla_\theta\,\mathbb{E}_\epsilon[F(\theta + \sigma\epsilon)] = \tfrac{1}{\sigma}\mathbb{E}_\epsilon[F(\theta + \sigma\epsilon)\,\epsilon]\) | 진화 전략의 기울기 추정 (가우시안 평활화) | 10 |
| \(C_\mu = \sum_{i=1}^{\mu} w_i\, y_{i:\lambda}\, y_{i:\lambda}^\top\) | CMA-ES: 잘된 스텝들로 공분산 다시 맞추기(가중 최대우도) | 10 |
상상 속 학습과 현대 모델 (11 – 13장)
| 식 | 뜻 | 장 |
| \(h_t = f(h_{t-1}, z_{t-1}, a_{t-1})\), \(\ z_t \sim p(z_t\mid h_t)\), \(\ z_t \sim q(z_t\mid h_t, o_t)\) | RSSM 의 결정 · 사전 · 사후 경로 | 11 |
| \(\sum_t \Big(\mathbb{E}_q[\log p(o_t\mid h_t,z_t)] + \mathbb{E}_q[\log p(r_t\mid h_t,z_t)] - \mathbb{E}_q\big[D_{\mathrm{KL}}(q(z_t\mid h_t,o_t)\,\Vert \,p(z_t\mid h_t))\big]\Big)\) | 순차 ELBO | 11 |
| \(\max(D_{\mathrm{KL}}, c)\) | 자유 내트(free nats) | 11 |
| \(V^\lambda_t = \hat r_t + \gamma\big[(1-\lambda)\,v(s_{t+1}) + \lambda\,V^\lambda_{t+1}\big]\) | λ-리턴의 재귀식 | 12 |
| \(\tfrac12\big(v_\xi(s_t) - \operatorname{sg}(V^\lambda_t)\big)^2\) | 크리틱 손실 | 12 |
| \(z = \operatorname{onehot} + p - \operatorname{sg}(p)\) (값 = 원-핫, \(\partial\mathcal{L}/\partial p = \partial\mathcal{L}/\partial z\)) | 직선 통과 추정기 | 12 |
| \(\alpha\,D_{\mathrm{KL}}(\operatorname{sg}(q)\,\Vert \,p) + (1-\alpha)\,D_{\mathrm{KL}}(q\,\Vert \,\operatorname{sg}(p))\) | KL 균형 (DreamerV2, \(\alpha = 0.8\)) | 12 |
| \(\operatorname{symlog}(x) = \operatorname{sign}(x)\log(\lvert x\rvert + 1)\), \(\ \operatorname{symexp}(x) = \operatorname{sign}(x)(e^{\lvert x\rvert} - 1)\) | symlog 와 그 역함수 | 12 |
| \(w_{k+1} = \dfrac{y - b_k}{b_{k+1} - b_k}\), \(\ w_k = \dfrac{b_{k+1} - y}{b_{k+1} - b_k}\) | two-hot 가중치 | 12 |
| \(z_t = \sum_{i=0}^{n-1}\gamma^i r_{t+i} + \gamma^n v(s_{t+n})\) | n-스텝 가치 목표 (MuZero). 여기서 \(z_t\) 는 잠재 변수가 아니라 가치 목표 | 13 |
| \(Q + P\,\dfrac{\sqrt{\sum_b N}}{1 + N}\big(c_1 + \log\tfrac{\sum_b N + c_2 + 1}{c_2}\big)\) | MCTS 의 pUCT 점수 | 13 |
| \(q^\ast \propto p\,\exp(J/\tau)\), \(\ w_i = \dfrac{\exp(J_i/\tau)}{\sum_j\exp(J_j/\tau)}\) | MPPI 가중치 (\(\tau\) 는 온도) | 13 |
| \(\operatorname{softmax}\!\big(QK^\top/\sqrt{d}\big)V\), \(\ \operatorname{Var}(q\cdot k) = d\) | 어텐션과 \(\sqrt d\) 로 나누는 이유 | 13 |
| \(x_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon\) | 확산의 정방향 닫힌 꼴 | 13 |
| \(\tilde\mu_t = \dfrac{1}{\sqrt{\alpha_t}}\Big(x_t - \dfrac{\beta_t}{\sqrt{1-\bar\alpha_t}}\epsilon\Big)\), \(\ \tilde\beta_t = \dfrac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\beta_t\) | 역방향 정답 분포의 평균 · 분산 | 13 |
| \(\mathbb{E}\big\lVert\epsilon - \epsilon_\theta(\sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\epsilon,\ t)\big\rVert^2\) | 확산 모델의 학습 손실 | 13 |
| \(\bar\theta \leftarrow \tau\bar\theta + (1-\tau)\theta\) | EMA 목표 인코더 (JEPA · TD-MPC). 여기서 \(\tau\) 는 섞는 비율 | 13 |
용어집
튜토리얼에 나온 용어를 가나다순으로 모은 표다. "설명한 장" 은 그 용어를 처음 정의하고 자세히 설명한 장이다(이름만 먼저 나온 장은 적지 않는다).
한국어 용어
| 용어 | 영어 | 뜻 | 설명한 장 |
| 가능도 | likelihood | 매개변수를 고정했을 때 관측한 데이터가 나올 확률(밀도). 매개변수의 함수로 본다 | 02장 |
| 가우시안 분포 (정규 분포) | Gaussian / normal distribution | 평균 μ, 분산 σ² 의 종 모양 분포 N(μ, σ²) | 02장 |
| 가우시안 평활화 | Gaussian smoothing | F 대신 E[F(θ + σε)] 를 최적화해 기울기를 표본으로 추정하게 하는 기법 | 10장 |
| 가치 등가 | value equivalence | 계획에 쓰이는 값(보상 · 가치 · 정책)만 진짜와 같으면 된다는 World Model 설계 원리 (MuZero) | 13장 |
| 가치 반복 | value iteration | 벨만 최적 방정식을 되풀이 적용해 최적 가치를 구하는 방법 | 05장 |
| 가치 함수 | value function | 상태 s 에서 정책을 따를 때 받을 리턴의 기댓값 V(s) | 05장 |
| 강화학습 | reinforcement learning, RL | 보상을 최대로 하는 행동을 시행착오로 배우는 학습 | 05장 |
| 결합 확률 | joint probability | 여러 사건이 함께 일어날 확률 p(x, y) | 02장 |
| 경사 하강법 | gradient descent | 기울기의 반대 방향으로 매개변수를 조금씩 옮겨 손실을 줄이는 방법 | 04장 |
| 계획 | planning | 모델로 미래를 미리 따져 보고 행동을 고르는 것 | 05장 |
| 곡률 | curvature | 손실 곡면이 휘어진 정도. 클수록 학습률을 작게 잡아야 한다 | 04장 |
| 공통 난수 | common random numbers | 후보들을 같은 시드 · 같은 초기 상태로 평가해 비교의 잡음을 줄이는 기법 | 10장 |
| 과적합 | overfitting | 학습 데이터는 잘 맞히지만 새 데이터에서는 틀리는 상태 | 04장 · 06장 |
| 관성 모멘트 | moment of inertia | 회전시키기 어려운 정도. 끝을 축으로 도는 막대는 ml²/3 | 06장 |
| 관측 | observation | 에이전트가 실제로 보는 것 o_t (숫자 벡터 · 그림) | 01장 |
| 교차 엔트로피 | cross-entropy | p 의 데이터를 q 로 부호화할 때의 평균 정보량 H(p, q) = −Σ p log q | 03장 |
| 궤적 | trajectory | 상태 · 행동 · 보상을 시간 순으로 늘어놓은 것 τ | 05장 |
| 궤적 표본 전파 | trajectory sampling, TS | 입자마다 앙상블 멤버와 잡음을 뽑아 불확실성을 미래로 전파하는 PETS 의 방법 | 07장 |
| 기댓값 | expectation | 확률로 가중한 평균 E[f(x)] | 02장 |
| 기울기 소실 | vanishing gradient | 층 · 시간을 거슬러 갈수록 기울기가 0 에 가까워져 학습이 안 되는 현상 | 04장 |
| 기울기 자르기 | gradient clipping | 기울기 벡터의 길이가 c 를 넘으면 길이를 c 로 줄이는 안정화 기법 | 09장 |
| 기울기 차단 | stop-gradient, sg | 값은 그대로 쓰되 기울기는 흘리지 않는 연산 (.detach()) | 12장 |
| 기준선 | baseline | 정책 경사의 분산을 줄이려고 리턴에서 빼는 값. 빼도 기댓값은 그대로 | 05장 |
| 꿈 | dream | World Model 이 스스로 만든 상상 속 궤적. 그 안에서 정책을 학습하기도 한다 | 09장 |
| 노출 편향 | exposure bias | 학습 땐 진짜 입력, 생성 땐 자기 출력을 입력으로 받아 생기는 차이 | 09장 |
| 다루기 어렵다 | intractable | 정확히 계산하려면 비용이 너무 커서 사실상 계산할 수 없다 | 08장 |
| 다봉 분포 | multimodal distribution | 봉우리가 여러 개인 분포. 평균이 어느 봉우리와도 닮지 않을 수 있다 | 01장 |
| 다양체 가설 | manifold hypothesis | 고차원 데이터(그림)가 실제로는 저차원 곡면 근처에 모여 있다는 가정 | 08장 |
| 다층 퍼셉트론 | multilayer perceptron, MLP | 선형 층과 활성 함수를 번갈아 쌓은 가장 기본적인 신경망 | 04장 |
| 대각 가우시안 | diagonal Gaussian | 차원끼리 독립인 다변량 가우시안. 공분산 행렬이 대각 행렬 | 02장 |
| 독립 | independent | p(x, y) = p(x) p(y). 한 변수를 알아도 다른 변수에 대한 정보가 없다 | 02장 |
| 드리프트 | drift | 자기 출력으로 계속 생성하면서 오차가 쌓여 장면이 점점 어긋나는 현상 | 13장 |
| 라그랑주 승수 | Lagrange multiplier | 조건이 있는 최적화를 조건 없는 문제로 바꾸려고 더하는 변수 | 13장 |
| 로그 미분 트릭 | log-derivative trick | ∇p = p ∇log p 를 이용해 기댓값의 기울기를 표본으로 추정하는 방법 | 05장 |
| 로짓 | logit | softmax · sigmoid 에 넣기 전의 점수(정규화되지 않은 로그 확률) | 02장 |
| 리턴 | return | 앞으로 받을 (할인된) 보상의 합 G_t | 05장 |
| 리플레이 버퍼 | replay buffer | 에이전트가 모은 경험(관측 · 행동 · 보상)을 쌓아 두고 학습 때 무작위로 꺼내 쓰는 저장소. 기호 𝒟 | 11장 |
| 립시츠 상수 | Lipschitz constant | 입력 차이가 출력에서 최대 몇 배로 커지는지의 상한 L | 06장 |
| 마르코프 결정 과정 | Markov decision process, MDP | 상태 · 행동 · 전이 확률 · 보상 · 할인율로 정의한 의사결정 문제 | 05장 |
| 마르코프 성질 | Markov property | 다음 상태가 지금 상태 · 행동에만 달려 있고 그 이전 과거와는 무관하다는 성질 | 05장 |
| 매개변수 | parameter | 학습으로 고치는 신경망의 숫자들(가중치 · 편향) | 04장 |
| 모델 기반 강화학습 | model-based RL | 환경의 모델(World Model)을 배워 계획 · 상상에 쓰는 강화학습 | 01장 |
| 모델 없는 강화학습 | model-free RL | 모델 없이 경험에서 바로 정책 · 가치를 배우는 강화학습 | 01장 |
| 모델 예측 제어 | model predictive control, MPC | 매 스텝 모델로 앞을 계획하고 첫 행동만 실행한 뒤 다시 계획하는 방법 | 07장 |
| 모델 착취 | model exploitation | 정책이 World Model 의 틀린 곳을 이용해 상상 속에서만 높은 점수를 내는 현상 | 01장 |
| 목표 신경망 | target network | 학습 목표값을 계산할 때 쓰는, 천천히 따라오는 신경망 사본(주기적 복사 또는 EMA). 목표가 매 스텝 흔들리지 않게 한다. Dreamer 의 느린 크리틱, TD-MPC · JEPA 의 목표 인코더 | 05장 · 12장 |
| 몬테카를로 추정 | Monte Carlo estimation | 표본을 뽑아 평균 내어 기댓값을 근사하는 방법 | 02장 |
| 미니배치 | minibatch | 전체 데이터 대신 매 스텝 무작위로 뽑아 쓰는 작은 묶음. 그 기울기는 전체 기울기의 불편 추정 | 04장 |
| 미분 | derivative | 입력을 아주 조금 바꿀 때 출력이 바뀌는 비율 | 04장 |
| 미분 방정식 | differential equation | 변화율(미분)과 값 사이의 관계식. 진자의 운동 방정식 | 06장 |
| 믿음 상태 | belief state | 부분 관측에서 지금 상태에 대한 확률 분포 b_t(s) | 05장 |
| 밴딧 | bandit | 상태 없이 행동만 고르는 가장 단순한 강화학습 문제 | 05장 |
| 베르누이 분포 | Bernoulli distribution | 0 또는 1 을 내는 분포. 1 이 나올 확률 p | 02장 |
| 베이즈 정리 | Bayes' theorem | p(y | x) = p(x | y) p(y) / p(x). 원인과 결과의 조건부 확률을 뒤집는다 | 02장 |
| 벨만 방정식 | Bellman equation || 가치 = 지금 보상 + 할인된 다음 상태의 가치, 라는 재귀식 | 05장 | |
| 벨만 최적 방정식 | Bellman optimality equation | 최적 가치 = 가장 좋은 행동의 (보상 + 할인된 다음 가치) | 05장 |
| 변분 추론 | variational inference | 계산할 수 없는 사후 분포를 다루기 쉬운 분포 q 로 근사하는 방법 | 08장 |
| 보상 | reward | 행동 하나에 대해 환경이 주는 점수 r_t | 01장 |
| 보상 모델 | reward model | 상태 · 행동으로 보상을 예측하는 모델 | 01장 |
| 보편 근사 정리 | universal approximation theorem | 충분히 넓은 신경망은 연속 함수를 원하는 만큼 가깝게 흉내 낼 수 있다는 정리 | 04장 |
| 볼록 | convex | 두 점을 잇는 선분이 그래프 위에 있는 함수 모양 (예: x²) | 03장 |
| 부분 관측 | partial observability | 관측 하나로는 상태를 다 알 수 없는 상황. 그림 한 장으로는 각속도를 모른다 | 01장 |
| 부트스트랩 | bootstrap | ① 통계: 데이터에서 복원 추출로 모델마다 조금씩 다른 학습 데이터를 만드는 방법(7장) ② 강화학습: 자기 자신의 가치 추정으로 학습 목표를 만드는 것(TD 목표, 5 · 12장) | 07장 · 12장 |
| 분리 표현 | disentanglement | 잠재 변수의 각 성분이 하나의 의미 있는 요인에 대응하는 표현 | 08장 |
| 분산 | variance | 평균에서 얼마나 퍼져 있는지 Var[X] = E[(X − E[X])²] | 02장 |
| 분할 상환 추론 | amortized inference | 데이터마다 최적화하는 대신 신경망 하나(인코더)가 바로 q(z | x) 를 내놓는 방식 | 08장 |
| 블랙박스 최적화 | black-box optimization | 함수의 기울기 없이 값만 보고 최적점을 찾는 최적화 | 10장 |
| 사람 기준 정규화 점수 | human-normalized score, HNS | (에이전트 − 무작위)/(사람 − 무작위). Atari 성적 비교에 쓴다 | 13장 |
| 사전 확률 | prior | 데이터를 보기 전의 믿음 p(z) | 02장 |
| 사후 붕괴 | posterior collapse | VAE 의 q(z | x) 가 사전 분포와 같아져 잠재 변수가 아무 정보도 담지 않는 현상 | 08장 |
| 사후 확률 (사후 분포) | posterior | 데이터를 본 뒤의 믿음 p(z | x) | 02장 |
| 상태 | state | 환경의 진짜 상황 s_t. 진자에서는 (θ, θ̇) | 01장 |
| 상태 공간 모델 | state-space model, SSM | 보이지 않는 상태가 시간에 따라 변하고, 관측은 상태에서 나온다고 보는 모델 | 11장 |
| 상호정보량 | mutual information | 한 변수를 알면 다른 변수의 불확실성이 얼마나 줄어드는지 I(X; Y) | 03장 |
| 선형 층 | linear layer || y = Wx + b. 완전 연결 층 | 04장 | |
| 소프트맥스 | softmax | 점수들을 지수로 바꿔 합이 1 인 확률로 만드는 함수 | 02장 |
| 손실 함수 | loss function | 예측이 얼마나 틀렸는지 재는 값. 학습은 이것을 줄인다 | 04장 |
| 순환 신경망 | recurrent neural network, RNN | 은닉 상태를 들고 다니며 시퀀스를 한 스텝씩 처리하는 신경망 | 09장 |
| 스트라이드 | stride | 합성곱 커널을 한 번에 몇 칸씩 옮기는지. 2 이면 출력 크기가 약 절반이 된다 | 04장 |
| 신경망 | neural network | 매개변수가 있는 단순한 함수(층)를 여러 겹 합성해 만든 함수 | 04장 |
| 앙상블 | ensemble | 같은 구조의 모델 여러 개를 따로 학습시켜 함께 쓰는 것. 의견 차이로 불확실성을 잰다 | 07장 |
| 액터 | actor | 행동을 고르는 정책 신경망 π_ψ | 05장 |
| 어텐션 | attention | 질의와 열쇠의 유사도(softmax 가중치)로 값들을 섞는 연산. Transformer 의 핵심 | 13장 |
| 에너지 | energy | 두 입력이 얼마나 안 맞는지 재는 값. JEPA 에서는 표현 사이의 거리 | 13장 |
| 에이전트 | agent | 관측을 보고 행동을 고르는 주체 | 01장 |
| 에폭 | epoch | 학습 데이터 전체를 한 번 다 보는 단위 | 06장 |
| 에피소드 | episode | 시작부터 끝까지 한 번의 시도. 진자는 200 스텝 | 01장 |
| 엔트로피 | entropy | 분포의 평균 정보량(불확실성) H(p) = −Σ p log p | 03장 |
| 역전파 | backpropagation | 연쇄 법칙으로 출력의 손실에서 모든 매개변수의 기울기를 거꾸로 계산하는 방법 | 04장 |
| 열린 고리 롤아웃 | open-loop rollout | 처음 상태만 주고 이후는 모델 자신의 예측을 이어 붙여 굴리는 것 | 06장 |
| 오목 | concave | 볼록의 반대 모양의 함수 (예: log x) | 03장 |
| 오차 누적 | compounding error | 여러 스텝 예측할 때 한 스텝의 작은 오차가 쌓여 커지는 현상 | 01장 |
| 오토인코더 | autoencoder, AE | 입력을 작은 코드로 압축했다가 다시 복원하도록 학습하는 신경망 | 08장 |
| 온도 | temperature | 분포를 얼마나 평평하게(무작위하게) 만들지 정하는 값 τ | 09장 |
| 우연적 불확실성 | aleatoric uncertainty | 세상 자체의 무작위성. 데이터가 많아도 줄지 않는다 (분산의 평균) | 07장 |
| 은닉 상태 | hidden state | RNN 이 들고 다니는 기억 h_t | 09장 |
| 음의 로그 가능도 | negative log-likelihood, NLL | −log p(데이터). 최대우도 추정 = NLL 최소화 | 02장 |
| 이점 | advantage | A(s, a) = Q(s, a) − V(s). 이 행동이 평균보다 얼마나 나은지 | 05장 |
| 인과 마스크 | causal mask | Transformer 가 미래 토큰을 보지 못하게 점수를 −∞ 로 가리는 것 | 13장 |
| 인식적 불확실성 | epistemic uncertainty | 데이터가 부족해서 생기는 모름. 데이터가 늘면 준다 (앙상블 평균의 퍼짐) | 07장 |
| 일반화 | generalization | 학습에 쓰지 않은 새 데이터에서도 잘 맞히는 성질 | 04장 |
| 자기회귀 | autoregressive | 앞의 것들을 보고 다음 하나를 예측하는 것을 되풀이해 열을 만드는 방식 | 13장 |
| 자동 미분 | automatic differentiation, autograd | 계산 과정을 기록해 두었다가 연쇄 법칙으로 기울기를 자동으로 구하는 기능 | 04장 |
| 자유 내트 | free nats | KL 이 정한 값보다 작으면 KL 항으로는 학습하지 않게 하는 기법 max(KL, c) | 11장 |
| 잠재 과대 예측 | latent overshooting | 여러 스텝 앞의 사전 분포까지 사후 분포에 맞추도록 하는 PlaNet 의 보조 목표 | 11장 |
| 잠재 변수 | latent variable | 직접 보이지 않는, 데이터를 설명하는 숨은 변수 z | 01장 |
| 잠재 행동 모델 | latent action model, LAM | 행동 라벨 없는 영상에서 프레임 변화를 설명하는 이산 행동을 배우는 모델 (Genie) | 13장 |
| 재매개변수화 트릭 | reparameterization trick || z = μ + σ·ε 로 써서 표본을 뽑는 단계를 지나 기울기를 흘리는 방법 | 08장 | |
| 전이 모델 | transition model, dynamics model | 지금 상태와 행동으로 다음 상태를 예측하는 모델 | 01장 |
| 전체 기댓값의 법칙 | law of total expectation | 경우를 나눠 각 경우의 기댓값을 그 확률로 가중해 더하면 전체 기댓값이 된다. E[X] = Σ_y p(y) E[X | y] | 02장 |
| 전치 합성곱 | transposed convolution | 그림 크기를 키우는 합성곱. VAE 디코더에 쓴다 | 04장 · 08장 |
| 정보 병목 | information bottleneck | 전달할 수 있는 정보를 일부러 좁혀 꼭 필요한 정보만 남기게 하는 설계 | 13장 |
| 정보량 | information content, surprisal | 드문 사건일수록 큰 놀람 −log p(x) | 03장 |
| 정신 모형 | mental model | 사람이 머릿속에 가진 세상의 축소판 모형 | 01장 |
| 정예 | elite | CEM 에서 점수가 가장 좋은 상위 후보들 | 07장 |
| 정책 | policy | 상태(관측)를 보고 행동을 고르는 규칙 π(a | s) | 01장 |
| 젠센 부등식 | Jensen's inequality | 오목 함수 f 에 대해 f(E[X]) ≥ E[f(X)]. ELBO 유도의 핵심 | 03장 |
| 조건부 기댓값 | conditional expectation | 어떤 조건이 주어졌을 때의 기댓값 E[X | Y = y]. MSE 를 최소로 하는 예측이 이것이다 | 02장 |
| 조건부 확률 | conditional probability | y 를 알 때 x 의 확률 p(x | y) = p(x, y)/p(y) | 02장 |
| 주변 확률 | marginal probability | 결합 확률에서 다른 변수를 모두 더해(적분해) 없앤 한 변수만의 확률 | 02장 |
| 주변화 | marginalization | 관심 없는 변수를 합(적분)해서 없애는 것 p(x) = Σ_y p(x, y) | 02장 |
| 증거 | evidence | 베이즈 정리의 분모 p(x). 모든 원인에 대해 더한 관측의 확률 | 02장 |
| 지도 학습 | supervised learning | 입력과 정답 쌍으로 입력 → 정답 함수를 배우는 학습 | 04장 |
| 직선 통과 추정기 | straight-through estimator | 앞으로는 이산 값을, 뒤로는 기울기를 그대로 통과시키는 트릭 | 12장 |
| 진화 경로 | evolution path | CMA-ES 가 지난 평균 이동들을 누적해 스텝 크기 · 공분산을 조절하는 데 쓰는 벡터 | 10장 |
| 진화 전략 | evolution strategies, ES | 매개변수에 잡음을 더한 후보들의 점수로 다음 분포를 정하는 블랙박스 최적화 | 10장 |
| 최대우도 추정 | maximum likelihood estimation, MLE | 데이터의 가능도를 가장 크게 만드는 매개변수를 고르는 방법 | 02장 |
| 커널 (필터) | kernel, filter | 합성곱에서 그림 위를 미끄러지며 곱해지는 작은 가중치 묶음 | 04장 |
| 코드북 | codebook | VQ-VAE 가 고를 수 있는 벡터들의 목록 {e_1, …, e_K} | 13장 |
| 크리틱 | critic | 상태의 가치를 추정하는 신경망 v_ξ | 05장 |
| 큰 수의 법칙 | law of large numbers | 표본이 많을수록 표본 평균이 기댓값에 가까워진다 | 02장 |
| 텐서 | tensor | 숫자를 여러 축으로 늘어놓은 배열. PyTorch 의 기본 자료형 | 04장 |
| 토크 | torque | 축을 중심으로 돌리는 힘. 진자의 행동 u | 06장 |
| 토큰 | token | 모델이 다루는 이산 기호 하나(정수). 그림도 VQ 로 토큰열이 된다 | 13장 |
| 패딩 | padding | 합성곱 전에 그림 가장자리에 덧대는 값(보통 0). 출력 크기를 조절한다 | 04장 |
| 편미분 | partial derivative | 다른 변수는 고정하고 한 변수에 대해서만 미분한 것 | 04장 |
| 표준화 | standardization | (x − 평균)/표준편차 로 평균 0, 표준편차 1 로 맞추는 전처리 | 04장 · 06장 |
| 표현 붕괴 | representation collapse | 모든 입력이 같은 표현으로 뭉개져 손실만 작아지는 실패 | 13장 |
| 필터링 | filtering | 지금까지의 관측으로 지금 상태의 분포를 추정하는 것 | 11장 |
| 할인율 | discount factor | 미래 보상을 얼마나 깎아 셀지 정하는 값 γ (0 – 1) | 05장 |
| 합성 함수 | composite function | 함수 안에 함수가 들어간 것 f(g(x)). 연쇄 법칙의 대상 | 04장 |
| 합성곱 신경망 | convolutional neural network, CNN | 작은 필터를 그림 위로 밀며 지역 특징을 뽑는 신경망 | 04장 |
| 행동 | action | 에이전트가 환경에 하는 일 a_t. 진자에서는 토크 u | 01장 |
| 행동 반복 | action repeat | 같은 행동을 k 스텝 되풀이해 결정 횟수를 줄이는 기법 | 11장 |
| 혼합 밀도 네트워크 | mixture density network, MDN | 출력으로 가우시안 혼합 분포의 가중치 · 평균 · 표준편차를 내는 신경망 | 09장 |
| 확률밀도함수 | probability density function, PDF | 연속 변수의 확률 밀도. 구간에서 적분하면 확률 | 02장 |
| 확률변수 | random variable | 실험 결과에 따라 값이 정해지는 변수 | 02장 |
| 확률적 경사 하강법 | stochastic gradient descent, SGD | 미니배치로 추정한 기울기로 매개변수를 고치는 경사 하강법 | 04장 |
| 확률질량함수 | probability mass function, PMF | 이산 변수가 각 값을 가질 확률 | 02장 |
| 확산 모델 | diffusion model | 데이터에 잡음을 섞는 과정을 거꾸로 배워 잡음에서 데이터를 만드는 생성 모델 | 13장 |
| 환경 | environment | 에이전트가 상호작용하는 세상. 행동을 받아 다음 관측 · 보상을 준다 | 01장 |
| 활성 함수 | activation function | 층 사이에 넣는 비선형 함수 (ReLU, tanh, SiLU …) | 04장 |
| 후퇴 지평 | receding horizon | 매 스텝 H 스텝 앞을 계획하고 첫 행동만 실행한 뒤 창을 한 칸 밀어 다시 계획하는 방식 | 07장 |
| 1차 테일러 근사 | first-order Taylor approximation | f(x + Δ) ≈ f(x) + f'(x)Δ. 경사 하강법이 손실을 줄이는 이유 | 04장 |
| KL 균형 | KL balancing | KL 의 기울기를 사전 쪽(α)과 사후 쪽(1−α)에 나눠 주는 DreamerV2 기법 | 12장 |
| KL 발산 | Kullback–Leibler divergence | 두 분포가 얼마나 다른지 KL(p‖q) = Σ p log(p/q) ≥ 0 | 03장 |
| n-스텝 리턴 | n-step return | 실제 보상 n 개 + γⁿ × (n 스텝 뒤의 가치 추정) | 12장 |
| β-VAE | beta-VAE | KL 항에 β 를 곱해 재구성과 압축의 균형을 조절하는 VAE | 08장 |
| λ-리턴 | λ-return | 여러 n-스텝 리턴을 (1−λ)λ^(n−1) 가중치로 섞은 가치 목표 | 12장 |
영문 약어 · 이름
| 약어 · 영문 용어 | 뜻 | 설명한 장 |
| Adam | 적응적 학습률 옵티마이저. 기울기의 이동 평균과 크기로 스텝을 조절한다 | 04장 |
| BPTT | backpropagation through time. 시간으로 펼친 RNN 에 대한 역전파 | 09장 |
| CEM | cross-entropy method. 후보를 뽑고 상위(정예)로 가우시안을 다시 맞추기를 되풀이하는 최적화 | 07장 |
| CMA-ES | covariance matrix adaptation evolution strategy. 공분산까지 적응하는 진화 전략 | 10장 |
| DDPM | denoising diffusion probabilistic model. 잡음 예측으로 학습하는 확산 모델 (Ho et al., 2020) | 13장 |
| Dyna | 실제 경험으로 모델을 배우고, 모델이 만든 가상 경험으로도 가치 · 정책을 학습하는 구조 (Sutton, 1990 – 1991) | 01장 |
| ELBO | evidence lower bound. log p(x) 의 아래 경계 = 재구성 − KL | 08장 |
| EMA | exponential moving average. θ̄ ← τθ̄ + (1−τ)θ 로 천천히 따라오는 평균 | 04장 · 13장 |
| GRU | gated recurrent unit. 게이트 두 개(갱신 · 리셋)로 기억을 조절하는 RNN | 09장 |
| JEPA | joint-embedding predictive architecture. 픽셀 대신 표현 공간에서 예측하는 구조 | 13장 |
| log-sum-exp | log Σ exp(a_k) 를 최댓값을 빼고 안정적으로 계산하는 방법 | 02장 |
| LSTM | long short-term memory. 셀 상태와 게이트 세 개로 긴 기억을 유지하는 RNN | 09장 |
| MCTS | Monte Carlo tree search. 유망한 가지를 한 스텝씩 파 내려가는 탐색 (MuZero) | 13장 |
| MDP | Markov decision process. 상태 · 행동 · 전이 · 보상 · 할인율로 정의한 의사결정 문제 | 05장 |
| MPPI | model predictive path integral. 후보를 exp(J/τ) 가중치로 평균 내는 계획 방법 | 13장 |
| MSE | mean squared error. 오차 제곱의 평균 | 04장 |
| PETS | probabilistic ensembles with trajectory sampling. 확률적 앙상블 + 궤적 표본 전파 + CEM-MPC | 07장 |
| PlaNet | deep planning network. RSSM 잠재 공간에서 CEM 으로 계획하는 에이전트 | 11장 |
| POMDP | partially observable MDP. 관측만으로는 상태를 다 알 수 없는 MDP | 05장 |
| pUCT | MCTS 에서 이용(Q)과 탐험(사전 확률 · 방문 수)을 섞는 점수 | 13장 |
| REINFORCE | ∇J = E[∇ log π(a|s) · G] 로 정책을 직접 미분하는 정책 경사 방법 | 05장 |
| RSSM | recurrent state-space model. 결정적 경로 h_t 와 확률적 경로 z_t 를 함께 쓰는 잠재 동역학 | 11장 |
| SiLU (Swish) | x · sigmoid(x). 부드러운 ReLU 꼴 활성 함수 | 06장 |
| SimNorm | 잠재 벡터를 묶음별 softmax 로 정규화하는 TD-MPC2 의 기법 | 13장 |
| softplus | log(1 + eˣ). 늘 양수인 부드러운 ReLU. 표준편차를 만들 때 쓴다 | 07장 |
| symlog | sign(x) log(|x| + 1). 크기가 제각각인 값을 눌러 담는 변환 (DreamerV3) | 12장 |
| TD 오차 | temporal difference error. δ = r + γV(s') − V(s). 기댓값이 이점이 된다 | 05장 |
| two-hot | 실수 하나를 이웃한 두 구간(bin)에 가중치를 나눠 담는 범주형 부호화 (DreamerV3) | 12장 |
| unimix | 범주형 분포에 균등 분포를 조금(DreamerV3 는 1%) 섞어 확률이 정확히 0 이 되지 않게 하는 기법 | 12장 |
| VAE | variational autoencoder. 잠재 변수 모델 + 인코더(변분 추론)를 ELBO 로 함께 학습 | 08장 |
| VQ-VAE | vector-quantized VAE. 잠재를 코드북의 가장 가까운 벡터로 바꿔 토큰을 만든다 | 13장 |
논문 지도
논문은 처음부터 끝까지 읽기보다 ① 초록과 그림 1, ② 방법 절의 핵심 식, ③ 실험의 주요 표 순서로 읽고, 이해가 안 되는 식은 튜토리얼의 해당 장으로 돌아가 확인한다. 아래 순서는 튜토리얼의 흐름을 따른다.
| 순서 | 논문 | 왜 읽나 | 관련 장 |
| 0 | Sutton & Barto, Reinforcement Learning: An Introduction (2판) 3 – 4장, 8장 | MDP · 벨만 방정식, 그리고 Dyna(모델 기반 강화학습의 고전) | 05 |
| 1 | Kingma & Welling, “Auto-Encoding Variational Bayes”, 1312.6114 | VAE 와 재매개변수화 트릭의 원전 | 08 |
| 2 | Graves, “Generating Sequences With Recurrent Neural Networks”, 1308.0850 | MDN-RNN 으로 시퀀스를 생성하는 방법 | 09 |
| 3 | Ha & Schmidhuber, “World Models”, 1803.10122 (+ 상호작용 글) | V · M · C 구조와 꿈속 학습. 읽기 쉽고 그림이 좋다 | 10 |
| 4 | Chua et al., “PETS”, 1805.12114 | 확률적 앙상블과 불확실성을 고려한 MPC | 07 |
| 5 | Janner et al., “MBPO: When to Trust Your Model”, 1906.08253 | 짧은 모델 롤아웃으로 모델-없는 학습을 돕는 방법, 오차 누적의 분석 | 06 · 07 |
| 6 | Salimans et al., “Evolution Strategies”, 1703.03864 · Hansen, “CMA-ES Tutorial”, 1604.00772 | 기울기 없이 정책을 찾는 진화 전략 | 10 |
| 7 | Hafner et al., “PlaNet”, 1811.04551 | RSSM 과 잠재 공간 계획 | 11 |
| 8 | Hafner et al., “Dreamer”, 1912.01603 | 상상 속 액터-크리틱과 λ-리턴 | 12 |
| 9 | Hafner et al., “DreamerV2”, 2010.02193 · “DreamerV3”, 2301.04104 | 범주형 잠재 · KL 균형, 그리고 하나의 설정으로 여러 영역 | 12 |
| 10 | Schrittwieser et al., “MuZero”, 1911.08265 | 가치 등가 모델과 MCTS | 13 |
| 11 | Hansen et al., “TD-MPC2”, 2310.16828 | 디코더 없는 잠재 계획의 현재 형태 | 13 |
| 12 | Micheli et al., “IRIS”, 2209.00588 | 토큰 + Transformer World Model | 13 |
| 13 | Ho et al., “DDPM”, 2006.11239 → Alonso et al., “DIAMOND”, 2405.12399 | 확산 모델과 확산 World Model | 13 |
| 14 | LeCun, “A Path Towards Autonomous Machine Intelligence” → “V-JEPA 2”, 2506.09985 | 표현 공간 예측이라는 다른 길 | 13 |
| 15 | Bruce et al., “Genie”, 2402.15391 → Hafner et al., “Dreamer 4”, 2509.24527 | 대규모 비디오 World Model 과 그 안에서의 에이전트 학습 | 13 |
| + | Moerland et al., “Model-based RL: A Survey”, 2006.16712 | 모델 기반 강화학습 전체를 정리한 개관 논문. 지도를 다시 그리고 싶을 때 | 01 |
공개 구현 · 도구
튜토리얼의 작은 구현으로 원리를 익힌 뒤 큰 과제에 도전할 때는 검증된 공개 구현에서 출발한다.
| 구현 | 내용 |
| DreamerV3 의 PyTorch 재구현(커뮤니티). 이 튜토리얼처럼 PyTorch 로 읽고 싶을 때 | |
| PlaNet 공식 구현(TensorFlow) | |
| Ha & Schmidhuber World Models 실험 코드 | |
| PETS · MBPO 등 모델 기반 강화학습 라이브러리(PyTorch) | |
| TD-MPC2 공식 구현과 학습된 체크포인트 | |
| MuZero 의 읽기 쉬운 PyTorch 재구현(커뮤니티) | |
| IRIS(Transformer) · DIAMOND(확산) World Model 공식 구현 | |
| V-JEPA 2 코드와 사전 학습 모델 | |
| NVIDIA Cosmos World Foundation Model 저장소들 | |
| 실험 환경. 이 튜토리얼의 진자는 Gymnasium |
튜토리얼 코드를 Gymnasium 환경으로 옮기기
-
wm_envs.py의 환경은obs, reward, done = env.step(action)세 값을 돌려주지만, Gymnasium 은obs, reward, terminated, truncated, info = env.step(action)다섯 값을 돌려준다.done = terminated or truncated로 바꾼다. -
reset()이(obs, info)를 돌려주는 점을 맞추면 대부분의 실습 코드를 그대로 쓸 수 있다. - 그림 관측은 환경을
render_mode="rgb_array"로 만들고env.render()가 돌려주는 RGB 그림을 흑백(1채널)으로 바꾼 뒤 64×64 로 줄인다. 본문 모델은 1채널 입력이다.
자주 묻는 질문
- GPU 없이 끝까지 따라갈 수 있는가
- 10장까지와 13장은 가능하다. CPU 로도 돌도록 작게 만들었고 각 장에 실제로 걸린 시간이 적혀 있다(06 · 07 · 13장은 CPU 로 1 – 20분 정도). 11 · 12장(그림을 보는 PlaNet · Dreamer)의 본문 설정은 CPU 로 하루 이상 걸려 사실상 어렵다. 먼저
--quick으로 코드가 도는 것을 확인하고, 본 학습은 GPU(무료 클라우드 노트북도 된다)에서 돌리거나 학습 횟수를 줄여 경향만 본다. - World Model 과 시뮬레이터(물리 엔진)의 차이
- 물리 엔진은 사람이 규칙(방정식)을 직접 적어 넣은 것이고, World Model 은 그 규칙을 데이터에서 배운 것이다. 6장에서 진자의 방정식을 아는데도 신경망으로 배운 까닭은 실제 세상(로봇 · 게임 · 운전)에서는 대부분 방정식을 모르거나 너무 복잡하기 때문이다. 배운 모델은 틀릴 수 있으므로 불확실성(7장)과 모델 착취(10장)를 늘 의식해야 한다.
- 모델 기반 강화학습이 모델 없는 강화학습보다 늘 좋은가
- 아니다. 환경과 상호작용하는 비용이 클 때(실제 로봇, 느린 시뮬레이터)는 표본 효율이 큰 장점이지만, 모델을 배우는 계산 비용과 모델 오차라는 대가가 있다. 시뮬레이터가 아주 빠르고 값싸면 모델 없는 방법이 더 단순하고 최종 성능이 좋을 때도 많다. 다만 DreamerV3 처럼 두 장점을 함께 노리는 방법이 늘고 있다.
- 처음부터 끝까지 진자만 쓴 이유
- 세상이 같으면 모델이 바뀐 효과만 비교할 수 있다. 진자는 물리가 세 줄로 적혀 정답과 비교할 수 있고, 그림으로 보면 속도를 알 수 없는 부분 관측 문제가 되며, 그네처럼 에너지를 모아야 해서 단순한 탐욕적 정책으로는 풀리지 않는다. 작지만 World Model 의 핵심 난점이 모두 들어 있다.
- 그림 크기를 키우거나 컬러로 바꿀 때 고칠 것
- 인코더 · 디코더의 합성곱 층 수와 입력 채널(흑백 1 → 컬러 3)을 바꾸고, 8장 · 11장의 출력 크기 계산을 따라 층마다 크기가 맞는지 다시 계산한다. 픽셀 수가 늘면 재구성 손실의 크기가 커지므로 KL 과의 균형(β, 자유 내트)도 다시 맞춘다.
- Dreamer 가 논문만큼 성능이 나오지 않을 때
- 먼저 학습 스텝 수를 비교한다. 논문은 수십만에서 수백만 스텝을 쓰지만 튜토리얼은 훨씬 적다. 그다음 증상 표에서 "상상 리턴과 실제 리턴의 차이", "열린 고리 상상 그림", "KL 크기" 를 점검한다. 재현이 목적이면 공개 구현과 같은 설정으로 비교하는 것이 가장 빠르다.
- 대규모 언어 모델(LLM)도 World Model 인가
- LLM 이 세상에 대한 지식을 많이 담고 있는 것은 분명하지만, 튜토리얼의 좁은 정의("행동이 주어지면 다음 상태를 예측하고, 그것으로 계획 · 학습한다")에 딱 맞지는 않는다. LLM 을 에이전트의 계획기로 쓰거나(행동의 결과를 글로 상상), 13장의 Genie 3 · 4 처럼 글로 세계를 만들고 바꾸는 비디오 World Model 처럼 언어와 World Model 을 함께 쓰는 연구가 활발하다. 어디까지를 World Model 로 부를지는 연구자들 사이에서도 합의되지 않았다.
- 수학이 막혔을 때
- 막힌 식의 풀이가 가리키는 장(대개 2 · 3장)으로 돌아간다. 그리고 식에 작은 숫자를 직접 넣어 계산한다. 튜토리얼의 모든 핵심 식에는 숫자 예와 그 숫자를 확인하는 코드가 있다.
다음 걸음: 직접 해 볼 프로젝트
튜토리얼의 코드를 출발점으로 삼아 난이도 순으로 해 볼 만한 프로젝트다.
| 난이도 | 프로젝트 | 무엇을 배우나 |
| ★☆☆ | 진자의 보상을 바꿔 “거꾸로 매달린 채 빨리 돌기” 를 목표로 7장 MPC 를 돌려 보기 | World Model 은 그대로 두고 보상만 바꿔 새 과제를 푸는 모델 기반 방법의 장점 |
| ★☆☆ | 6장의 동역학 모델을 “변화량” 대신 “다음 관측” 을 직접 예측하도록 바꿔(요령 2 를 끄고) 1스텝 오차 · 오차 누적 비교 | 출력 설계가 여러 스텝 예측에 주는 영향 |
| ★★☆ | Gymnasium 의 | 환경 인터페이스, 보상이 드문 과제에서의 탐험 문제 |
| ★★☆ | 12장 Dreamer 에 DreamerV3 의 symlog · two-hot · 자유 비트(free bits) · 리턴 정규화를 하나씩 넣고 효과 비교 | 각 기법의 역할을 실험으로 확인하기(절제 실험) |
| ★★☆ | 7장 앙상블의 불일치를 12장 상상 보상에 벌점으로 넣어 모델 착취 줄이기 | 불확실성을 고려한 상상 학습 |
| ★★★ | 13장 확산 실습을 “64×64 진자 그림의 다음 프레임 예측” 으로 키우기 | 조건부 확산 World Model, 드리프트와 잡음 증강 |
| ★★★ | 11장 RSSM 에서 디코더를 떼고 TD-MPC 식 잠재 일관성 + TD 손실로 바꾸기 | 재구성 없는 World Model 과 표현 붕괴 |
| ★★★ | 진자 영상(행동 기록 없이)으로 Genie 식 잠재 행동 모델을 학습해, 코드가 토크 방향과 대응하는지 확인 | 행동 라벨 없는 World Model 학습, 정보 병목 |
정리
- 디버깅은 데이터 확인, 모양 확인, 작은 데이터 과적합 순서로 시작하고 하이퍼파라미터는 마지막에 한 번에 하나씩 바꾼다.
- 손실은 항별로, 기울기는 노름으로 기록한다. 노름 0 은 끊긴 기울기, 수천으로 튀는 값은 폭발이다.
- NaN 은 대부분 \(\log 0\), 지수 넘침, 표준편차 0 에서 나온다. 안정 softplus, 로짓 BCE(\(\operatorname{softplus}(x) - yx\)),
logsumexp, 표준편차 하한, 기울기 자르기로 막는다. - 원 논문의 하이퍼파라미터는 출발점이고 판과 공식 코드에 따라 다르다. 잘 안 되면 데이터 양, 학습률, 모델 크기, KL 관련 값, 상상 · 계획 길이 순으로 손본다.
- 튜토리얼 전체는 "상태와 행동이 주어지면 다음을 예측하는 학습된 시뮬레이터" 라는 한 문장 정의에서 출발해, 숫자 세 개를 예측하는 MLP 에서 그림만 보고 상상 속에서 진자 세우기를 배우는 Dreamer 까지 간다.
- 오늘의 큰 World Model 들도 같은 세 질문에 대한 서로 다른 답이다. 무엇을 예측할 것인가, 불확실한 미래를 어떻게 표현할 것인가, 상상을 어떻게 행동으로 바꿀 것인가.
확인 문제
- 1. 기울기 \(g = (3, 4)\) 를 최대 길이 \(c = 1\) 로 자른 결과와 \(c = 10\) 일 때의 결과
- \(\lVert g\rVert = 5\). \(c = 1\) 이면 \(g' = (3, 4)/5 = (0.6, 0.8)\). \(c = 10\) 이면 \(5 \le 10\) 이므로 그대로 \((3, 4)\) 다.
- 2. 로짓 \(x = 0\), 정답 \(y = 1\) 일 때 \(\operatorname{softplus}(x) - yx\) 로 계산한 BCE 와 정의 \(-\log\sigma(0)\) 의 비교
- \(\operatorname{softplus}(0) - 0 = \log 2 \approx 0.693\). 정의로는 \(\sigma(0) = 0.5\) 이므로 \(-\log 0.5 = \log 2\) 로 같다.
- 3. VAE 의 KL 항이 거의 0 이고 어떤 그림을 넣어도 재구성이 거의 같은 흐린 그림일 때의 진단
- 사후 붕괴다. 인코더의 \(q(z\mid x)\) 가 사전 \(\mathcal{N}(0, I)\) 와 같아져 잠재가 정보를 담지 않고 디코더는 평균 그림만 그린다. β 를 줄이거나 KL 가중치를 0 에서 서서히 올리고(warm-up), 자유 비트(free bits)를 쓰고, 디코더가 너무 세면(예: 자기회귀 디코더) 약하게 만든다(8 · 11 · 12장).
- 4. 행동 반복 2 인 진자 환경(에피소드당 결정 100번)에서 \(\gamma = 0.9\) 가 보는 범위
- \(\frac{1}{1 - 0.9} = 10\) 스텝, 시간으로 \(10 \times 2 \times 0.05 = 1\) 초 정도다. 진자를 흔들어 올리는 데는 몇 초가 걸리므로 짧을 수 있다. \(\gamma = 0.99\) 면 약 100 스텝(10초)이다.
See also
- World Models:Tutorial
- World Models
- Recurrent World Models Facilitate Policy Evolution
- Reinforcement learning
- VAE
- Diffusion model
- Genie (world model)
- PyTorch
Favorite site
- 14. 부록: 디버깅 · 용어집 · 다음 걸음
- Sutton & Barto, Reinforcement Learning: An Introduction (2판)
- Chua et al., PETS (2018)
- Ha & Schmidhuber, World Models (2018)
- Hafner et al., PlaNet (2019)
- Hafner et al., Dreamer (2020)
- Hafner et al., DreamerV2 (2021)
- Hafner et al., DreamerV3 (2023)
- Moerland et al., Model-based RL: A Survey
- danijar/dreamerv3