콘텐츠로 이동
Search

RF-DETR:Tutorial:15-Appendix

lastmod 2026-11-18created 2026-11-186 edits

부록: 디버깅 · 용어집 · 다음 걸음은 RF-DETR 튜토리얼의 15장이다. 직접 탐지기를 만들거나 내 데이터로 RF-DETR 을 미세 조정하다 보면 박스가 엉뚱한 곳에 그려지고, 손실은 줄어드는데 AP 는 오르지 않고, 논문의 2.3 ms 가 내 컴퓨터에서는 수십 ms 로 나오는 일을 만나게 된다. 이 장은 그럴 때 펼쳐 보는 참고서 로, 처음부터 읽기보다 필요한 절을 찾아 쓰도록 만들었다. 처음 30분 점검 순서와 증상 → 원인 → 확인법 → 고칠 곳 디버깅 표, 공식 구현의 기본 설정값과 이 튜토리얼의 미니 모델 설정, 장별 핵심 수식 모음, 장별 미니 실험의 핵심 수치와 기대와 달랐던 결과, 용어 260개의 용어집, 논문을 읽는 순서와 공개 구현 · 도구, 자주 묻는 질문, 다음에 해 볼 프로젝트를 담았다. 모든 항목에는 자세한 설명이 있는 장(1 – 14장)의 링크를 달았다.

1. 디버깅: 처음 30분 점검 순서

탐지기는 부품(백본 · 프로젝터 · 질의 선택 · 디코더 · 머리 · 매칭 · 손실 · 채점)이 많고, 그 가운데 하나만 어긋나도 “AP 가 낮다” 는 똑같은 증상으로 나타난다. 무언가 이상하면 하이퍼파라미터를 이리저리 바꾸기 전에 다음 순서로 점검하라. 탐지기에서는 앞의 네 단계(데이터 · 박스 표현 · 모양 · 채점기)에서 잡히는 문제가 많다.

  1. 정답을 그림 위에 그려 본다. 학습 그림 몇 장에 정답 박스와 클래스 이름을 겹쳐 그린다(rf_shapes.py 의 draw_boxes). 박스가 객체를 감싸지 않으면 모델이 아니라 데이터 쪽 문제다. 가장 흔한 원인은 박스 표현의 혼동이다(2장, 14장).
  2. 박스의 표현과 단위를 확인한다. 지금 다루는 숫자 네 개가 중심 표현 (cx, cy, w, h) 인지 모서리 표현 (x0, y0, x1, y1) 인지, 픽셀인지 0 – 1 의 정규화 좌표인지를 함수마다 적어 두고 assert 로 확인한다.
  3. 텐서 모양을 확인한다. 분류 출력 (B, N, K), 박스 출력 (B, N, 4), 모든 쌍의 IoU (N, M) 처럼 기대하는 모양을 주석으로 적고 확인한다. 브로드캐스팅은 틀려도 오류를 내지 않는 경우가 있다.
  4. 채점기부터 믿을 수 있게 만든다. 정답을 그대로 예측으로 넣으면 AP 가 1 이 나와야 한다(3장의 실험 1 에서 잡음 0 일 때 AP 1.000). 채점기가 틀리면 그 뒤의 모든 숫자가 뜻을 잃는다.
  5. 첫 손실을 손계산과 견준다. 학습을 시작하기 전의 손실은 계산으로 미리 알 수 있다. 분류 머리의 편향을 사전 확률에 맞춰 초기화했는지에 따라 첫 손실이 스무 배쯤 달라진다(4장).
  6. 그림 한 장의 매칭을 손으로 따라가 본다. 비용 행렬을 출력해 한 칸을 직접 계산해 보고, 헝가리안 매칭의 배정이 눈으로 본 짝과 맞는지 확인한다(7장, 11장).
  7. 그림 몇 장에 과적합시켜 본다. 그림 여덟 장쯤만 되풀이해 학습시키면 손실이 크게 내려가고 그 그림들의 예측이 정답과 겹쳐야 한다. 안 그러면 모델 · 손실 코드에 버그가 있는 것이다.
  8. 손실을 항별 · 자리별로 따로 기록한다. 분류 · L1 · GIoU 를, 마지막 디코더 층 · 보조 손실 · 인코더 제안으로 나눠 본다. 합친 값만 보면 어느 항이 문제인지 모른다.
  9. 재는 자의 눈금을 먼저 잰다. 같은 설정을 다시 돌리기만 해도 AP 가 조금 달라진다. 11장의 미니 실험에서는 그 폭이 0.005 쯤이었다. 그보다 작은 차이는 읽지 않고, 시드 세 개에서 방향이 같은지를 본다.
  10. 그다음에야 하이퍼파라미터를 바꾼다. 한 번에 하나씩, 학습률부터.

아래 조각은 위 점검의 앞부분을 코드로 옮긴 것이다. 데이터 로더와 손실 계산 사이에 넣어 두면 문제를 일찍 잡을 수 있다.

import torch

def check_target_boxes(name, boxes):
    """정답 박스가 정규화한 중심 표현 (cx, cy, w, h) 인지 확인한다. boxes: (T, 4)"""
    assert boxes.ndim == 2 and boxes.shape[-1] == 4, f"{name}: 모양 {tuple(boxes.shape)}"
    assert torch.isfinite(boxes).all(), f"{name} 에 NaN 또는 inf 가 있습니다"
    assert (boxes[:, 2:] > 0).all(), f"{name}: 너비 · 높이가 0 이하입니다 (모서리 표현이 아닌가요?)"
    assert boxes.max() <= 1.0, f"{name}: 1 을 넘습니다 (픽셀 좌표가 아닌가요?)"
    x0y0 = boxes[:, :2] - boxes[:, 2:] / 2          # 왼쪽 위 모서리
    x1y1 = boxes[:, :2] + boxes[:, 2:] / 2          # 오른쪽 아래 모서리
    assert (x0y0 >= -1e-6).all() and (x1y1 <= 1 + 1e-6).all(), f"{name}: 그림 밖으로 나갑니다"

def check(name, x, shape=None):
    """모양과 유한성(NaN · inf 없음)을 확인한다."""
    if shape is not None:
        assert tuple(x.shape) == tuple(shape), f"{name}: {tuple(x.shape)} != {shape}"
    assert torch.isfinite(x).all(), f"{name} 에 NaN 또는 inf 가 있습니다"

def grad_norm(model):
    """모든 매개변수 기울기를 한 벡터로 이었을 때의 길이."""
    total = 0.0
    for p in model.parameters():
        if p.grad is not None:
            total += p.grad.detach().pow(2).sum().item()
    return total ** 0.5

# 학습 고리 안에서
# for t in targets: check_target_boxes("target", t["boxes"])
# check("pred_logits", out["pred_logits"], (B, N, K))
# check("pred_boxes", out["pred_boxes"], (B, N, 4))
# loss.backward()
# print("grad norm", grad_norm(model))    # RF-DETR 설정에서는 이 값이 늘 0.1 보다 커서 매 스텝 잘립니다 (11장)
주의 · 가장 흔한 조용한 버그 — 지금 어떤 좌표인가
박스 숫자 네 개만 봐서는 그것이 모서리 표현인지 중심 표현인지, 픽셀인지 정규화인지 알 수 없다. (0.2, 0.3, 0.4, 0.5) 는 어느 쪽으로도 읽힌다. 이 튜토리얼의 약속은 다음과 같다.
  • 모델의 출력과 정답: 정규화한 중심 표현 (cx, cy, w, h)
  • IoU · GIoU 함수(ch02_boxes.py)의 입력: 모서리 표현 (x0, y0, x1, y1)
  • COCO 주석 파일의 bbox: 픽셀 단위의 [x, y, w, h], 여기서 x, y 는 중심이 아니라 왼쪽 위 모서리
  • rfdetr 의 predict() 가 돌려주는 Detections.xyxy: 원본 그림 픽셀의 모서리 표현
표현을 바꾸는 자리는 함수 하나로 모으고, 함수 이름에 cxcywh · xyxy 를 적어 두라(2장).

2. 증상 → 원인 → 확인법 → 고칠 곳

자주 만나는 증상을 부품별로 모았다. 각 장의 주의 상자와, 이 튜토리얼의 실습을 만들며 실제로 겪은 함정에서 가져온 것이다. 수치는 모두 그 장의 미니 실험에서 잰 값이다. 맨 오른쪽 칸의 장에서 자세한 설명과 유도를 볼 수 있다.

박스 · 좌표

증상

흔한 원인

확인법

고칠 곳

장

예측과 정답이 눈으로는 겹치는데 IoU 가 거의 0 이다

중심 표현(cxcywh)과 모서리 표현(xyxy)을 섞었다. 모델은 중심 표현을 내는데 IoU 함수는 모서리 표현을 받는다

박스 하나를 손으로 바꿔 본다. 모서리 표현이면 x1 > x0, y1 > y0 가 모두 참이어야 한다

IoU · GIoU 앞에서 box_cxcywh_to_xyxy. 함수의 독스트링에 받는 표현을 적는다

02

박스 손실이 수십 – 수백으로 시작한다. 그린 박스가 그림 밖에 있다

픽셀 좌표와 정규화 좌표를 섞었다

정답 · 예측 박스의 최솟값과 최댓값을 출력한다. 0 – 1 안이어야 한다

픽셀 값을 그림의 너비 · 높이로 나눈다

02

COCO 형식으로 읽은 정답 박스가 오른쪽 아래로 반쯤 밀려 있다

COCO 의 bbox 는 왼쪽 위 모서리 기준의 픽셀 [x, y, w, h] 인데 중심으로 읽었다

정답을 그림 위에 그려 본다

\(c_x = (x^{\text{px}} + w^{\text{px}}/2)/W\) 로 바꾼다

14

대각선으로 떨어진 두 박스의 교집합 넓이가 양수로 나온다

겹친 길이를 0 으로 자르기 전에 곱했다. 가로 −2, 세로 −3 을 곱하면 +6 이 된다

대각선으로 떨어진 박스 한 쌍을 시험 입력으로 넣는다

clamp(min=0) 을 곱하기 앞에 둔다

02

모든 쌍의 IoU 를 구했는데 결과 모양이 (N, N) 이 아니라 (N,) 이다

브로드캐스팅용 None 을 빠뜨렸다. 박스 수가 우연히 같으면 오류 없이 짝끼리 계산이 된다

결과의 모양을 출력한다. 박스 수가 다른 두 묶음으로 시험한다

모든 쌍(매칭용)과 짝끼리(손실용) 함수를 따로 두고 이름으로 구별한다

02

정답과 겹치지 않는 예측 박스가 학습해도 움직이지 않는다

IoU 손실만 썼다. 겹치지 않으면 IoU 가 0 으로 평평해 기울기가 0 이다(2,000 스텝 뒤에도 IoU 0.0000)

예측과 정답의 IoU 가 0 인 쌍의 비율을 본다

GIoU 손실과 L1 손실을 함께 쓴다

02

GIoU 가 음수라서 “겹치지 않는다” 고 판단했는데 실제로는 겹쳐 있다

겹쳐 있어도 빈 곳의 비율이 크면 GIoU 는 음수다(IoU 0.1667 인 두 박스의 GIoU 가 −0.0333)

겹침 여부는 IoU 가 0 인지로 본다

판정에는 IoU, 손실에는 GIoU

02

작은 객체만 유독 채점에서 떨어진다

같은 픽셀 오차라도 작은 박스의 IoU 가 더 크게 떨어진다. L1 손실은 박스 크기를 모른다

크기별 AP(APS · APM · APL)를 따로 본다

L1 에 GIoU 손실(크기 불변)을 더한다. 입력 해상도를 올린다

02 · 03

박스 예측이 0 – 1 을 크게 벗어나거나 한쪽 끝에 몰린다

박스 재매개변수화(시그모이드 없이 기준 박스에서 옮기고 키움)와 8장 방식(로짓 공간에서 더한 뒤 시그모이드)을 섞었다

박스 머리 출력을 0 으로 두면 예측이 기준 박스 그대로인지 확인한다

한 가지 방식만 쓴다. RF-DETR 은 재매개변수화를 쓰고 박스에 시그모이드를 걸지 않는다

09 · 10

채점 · 문턱값

증상

흔한 원인

확인법

고칠 곳

장

정답을 그대로 예측으로 넣어도 AP 가 1 이 아니다

채점기의 버그(짝짓기 순서, 클래스 번호, 박스 표현)

완벽한 예측, 박스를 조금 흔든 예측으로 시험한다

채점 코드를 손계산 예와 한 단계씩 맞춘다

03

AP50 은 높은데 AP 가 낮다

객체는 찾았지만 박스가 헐겁다. 평균 IoU 0.715 인 박스들의 AP50 은 0.971 인데 AP75 는 0.170, AP 는 0.377 이었다

IoU 문턱값 열 개 각각의 AP 를 본다

박스 쪽(박스 손실, 박스 정제, 디코더 층 수, 학습 길이)을 본다

03

박스는 좋아 보이는데 AP 가 낮다

점수의 순서가 박스의 품질과 맞지 않다. 같은 박스에 점수만 달리 매겨도 AP 가 0.369 – 0.480 으로 달라졌다

찾은 객체마다 (점수, IoU) 를 모아 순위 상관을 본다

분류 목표에 IoU 를 섞는 IA-BCE

03 · 09 · 11

예측 수가 정답 수보다 훨씬 많고 AP50 이 낮다

점수가 비슷한 중복 예측. 객체마다 중복 셋씩이면 AP50 이 1.000 에서 0.763 으로 떨어졌다

점수 0.5 이상인 예측의 수와, 그 가운데 서로 IoU 0.5 넘게 겹치는 쌍의 수를 센다

일대일 매칭으로 학습했는지, 디코더의 자기 어텐션이 있는지 본다

03 · 07

점수가 낮은 예측을 수백 개 내보내는데 괜찮은지 모르겠다

괜찮다. 점수가 낮은 헛예측은 그림마다 96개를 넣어도 AP 가 그대로였다. 높은 점수의 헛예측만 치명적이다(0.700 → 0.192)

헛예측의 점수 분포를 본다

고칠 것 없음. AP 는 점수의 순서만 본다

03

문턱값을 바꿨는데 AP 는 그대로이고 정밀도 · 재현율만 바뀐다

문턱값이 두 가지다. IoU 문턱값은 채점하는 쪽이, 점수 문턱값은 탐지기를 쓰는 쪽이 정한다

어느 문턱값을 바꿨는지 확인한다

AP 를 바꾸려면 모델을, 정밀도 · 재현율의 균형을 바꾸려면 점수 문턱값을 고친다

03

포컬 손실로 학습한 모델이 문턱값 0.5 에서 객체를 많이 놓친다

포컬 손실로 학습한 확률은 낮게 나온다(양성 칸의 확률 중앙값이 BCE 0.996, 포컬 0.709)

문턱값을 0.3 으로 내려 재현율을 다시 본다. 문턱값과 무관한 AP 로 견준다

문턱값을 모델마다 따로 고른다

04 · 08

DETR 계열 출력에 NMS 를 걸었더니 AP 가 조금 내려갔다

지울 중복이 거의 없다. NMS 는 점수가 높은 쪽을 남기는데, 그쪽이 박스가 더 정확한 쪽이라는 보장이 없다

NMS 전후의 AP 와 AP50 을 함께 본다(7장: AP −0.0016, AP50 +0.0021)

마지막 층의 출력에는 NMS 를 걸지 않는다

07 · 11

도형 세상에서 AP 0.93 이 나왔으니 COCO 48.0 AP 인 모델보다 낫다고 생각했다

AP 는 같은 데이터셋 · 같은 채점 방식 안에서만 견줄 수 있다

—

같은 데이터에서 다시 잰다

03

rfdetr 가 알려 주는 mAP 와 내 채점기의 값이 크게 다르다

정의는 같다(같은 예측에서 0.9828 대 0.9830). 크게 다르면 클래스 번호나 좌표 변환이 어긋난 것이다

예측 몇 개를 그림 위에 그려 클래스와 박스를 본다

클래스 번호 다시 매기기, 픽셀 ↔ 정규화 변환

14

매칭 · 손실

증상

흔한 원인

확인법

고칠 곳

장

첫 스텝의 분류 손실이 100 을 넘는다

분류 머리의 편향이 0 이라 모든 칸의 확률이 0.5 에서 출발한다. 칸 432개 · 양성 2.5개면 \(432 \times 0.6931 / 2.5 = 119.8\)

첫 손실을 손계산과 견준다(4장 실험: 121.03 대 6.36)

사전 확률 편향 초기화 \(b = -\log\frac{1 - \pi}{\pi}\) (\(\pi = 0.01\))

04

매칭이 이상하다. 클래스가 맞는 예측을 두고 엉뚱한 예측이 짝이 된다

비용의 세 항의 크기가 맞지 않다. 클래스 항에 확률 대신 로그 확률을 썼거나 계수가 틀렸다

비용 행렬의 한 칸을 손으로 계산해 코드의 값과 맞춘다

DETR: \(-\hat{p}_i(c_j) + 5 \cdot \text{L1} - 2 \cdot \operatorname{GIoU}\). RF-DETR: 2 · 포컬 꼴 + 5 · L1 + 2 · (−GIoU)

07 · 11

가장 가까운 정답부터 차례로 짝지었더니 총비용이 더 크다

탐욕 배정은 최적이 아니다(7장의 예: −1.0011 대 최적 −1.9587)

작은 예에서 모든 배정을 다 해 본 값과 견준다

scipy.optimize.linear_sum_assignment

07

매칭 코드에서 기울기 관련 오류가 나거나 메모리가 커진다

매칭은 번호만 정한다. 기울기가 필요 없다

—

매칭을 torch.no_grad() 안에서 한다

07

로그의 “손실” 이 분류 · L1 · GIoU 의 가중합보다 몇 배 크다

전체 손실은 모든 자리(디코더 각 층 + 인코더 제안)의 합이고, 로그의 항별 값은 마지막 층만의 것이다

\(1 \cdot \sum\) 분류 \(+\ 5 \cdot \sum\) L1 \(+\ 2 \cdot \sum\) GIoU 를 모든 자리에 대해 더해 기록된 값과 맞춘다

고칠 것 없음. 자리별 값을 따로 기록한다

07 · 11 · 14

DETR 의 분류 손실 값이 논문의 식으로 계산한 값과 조금 다르다

F.cross_entropy(..., weight=...) 는 가중치를 곱한 합을 가중치의 합으로 나눈다(손계산 예에서 0.4518 대 0.4669)

분모를 직접 계산해 본다

고칠 것 없음. “∅ 항을 10분의 1 로” 라는 뜻은 같다

07

손실의 크기가 배치마다 크게 출렁인다

그림 수로 나눴다. 박스 · 분류 손실은 배치의 정답 수(묶음이 있으면 정답 수 × 묶음 수)로 나눈다

객체가 많은 배치와 적은 배치의 손실을 견준다

정답 수로 나누고, 정답이 없는 배치를 위해 최소 1 로 둔다

07 · 11

IA-BCE 분류 손실이 0.1 근처에서 더 내려가지 않는다

목표가 1 보다 작은 부드러운 목표면 BCE 의 바닥이 0 보다 크다(목표 0.975 면 0.117)

짝이 된 예측의 평균 IoU 로 바닥을 계산해 본다

고칠 것 없음

04 · 11

박스 반복 정제를 넣었더니 학습이 불안정하다

다음 층으로 넘기는 기준 박스의 기울기를 끊지 않았다

기준 박스에 .detach() 가 있는지 본다

층 사이에서 기울기 차단

08

2단계 질의 선택이 고른 칸이 객체와 무관하다

인코더 제안에 손실을 걸지 않았다. 그 손실이 질의 선택을 가르치는 유일한 신호다

제안만으로 채점해 본다(11장 미니 모델: AP 0.8928)

인코더 제안에도 같은 매칭 · 손실을 건다

10 · 11

rfdetr 학습 로그의 cardinality_error 가 줄지 않고 29 근처에 머문다

정상이다. 학습 때는 질의 묶음 13개가 저마다 객체 하나에 예측 하나씩을 낸다. 그림당 객체가 평균 2.44개면 \(12 \times 2.44 = 29.3\)

그림당 평균 객체 수 × 12 와 견준다

고칠 것 없음

14

한 객체를 여러 질의가 높은 점수로 가리킨다

첫 디코더 층의 출력을 쓰고 있거나(7장: 겹치는 쌍이 첫 층 153개, 마지막 층 45개), 추론 때 질의 묶음을 여러 개 쓰고 있다

층별로 겹치는 쌍의 수를 센다

추론에는 첫 묶음만, 가능한 한 뒤 층의 출력을 쓴다

07 · 09

학습 동역학

증상

흔한 원인

확인법

고칠 곳

장

검증 AP 가 에폭마다 오르내린다

학습 중인 가중치를 그대로 채점했다

EMA 가중치와 일반 가중치를 함께 채점한다(11장: 스무 번 가운데 열아홉 번 EMA 가 높았고 평균 +0.0091)

평가 · 저장에 EMA 가중치를 쓴다

11

EMA 모델이 학습 초반에 일반 모델보다 훨씬 나쁘다

감쇠를 처음부터 0.993 으로 고정했다. 쓸모없는 초기 가중치에 오래 붙들린다

스텝별 실효 감쇠를 출력한다

감쇠 워밍업 \(d_n = d\,(1 - e^{-n/\tau})\)

11

기울기 누적으로 실효 배치를 키웠는데 큰 배치로 학습한 것과 결과가 다르다

모델에 배치 정규화가 있다. 그림 한 장의 손실이 같은 배치의 다른 그림에 따라 달라진다

모델 안의 정규화 층 종류를 확인한다

층 정규화를 쓴다(RF-DETR 이 프로젝터에서 바꾼 것)

10 · 11

학습 중 검증은 괜찮은데 따로 순전파하면 결과가 엉망이다

model.eval() 을 부르지 않았다. 배치 정규화는 학습 모드와 추론 모드의 동작이 다르다

같은 입력을 두 모드로 넣어 출력을 견준다

추론 전에 .eval(). rfdetr 에서 nn.Module 을 직접 꺼내 쓸 때도 마찬가지

04 · 14

손실이 갑자기 NaN 이 된다

어텐션 마스크가 어떤 질의의 열쇠를 전부 막았다(소프트맥스가 0/0). 또는 시그모이드를 거친 뒤 로그를 취했다

마스크의 행마다 열린 자리가 하나 이상인지 본다. torch.isfinite 로 처음 NaN 이 생기는 텐서를 찾는다

마스크를 고친다. BCE 는 로짓에서 바로 계산한다

05 · 04

SGD 로 학습했더니 시드마다 결과가 크게 갈린다

큰 초기 손실이 그대로 큰 갱신이 된다(12 에폭 뒤 AP 가 0.661 ± 0.270 대 0.891 ± 0.030)

첫 손실과 첫 수십 스텝의 손실 곡선을 본다

사전 확률 편향 초기화. Adam 계열 옵티마이저

04

사전 학습 없는 백본에 공식 학습률 설정을 썼더니 느리게 배운다

낮은 백본 학습률과 층별 학습률 감쇠는 사전 학습한 백본을 지키려는 장치다. 무작위 백본에는 맞지 않다

일정한 학습률로 다시 학습해 견준다(11장, 학습 200장: 0.7170 대 0.6752)

무작위 초기화에서 출발한다면 층별 감쇠를 끄거나 백본 학습률을 올려 본다

11

에폭 수만 바꿨는데 같은 에폭에서의 결과가 달라졌다

코사인 스케줄의 학습률은 전체 길이에 대한 비율로 정해진다. 길이를 바꾸면 모든 스텝의 학습률이 바뀐다

스텝별 학습률을 기록한다

학습 길이를 모를 때는 일정한 학습률(스케줄러 없는 학습)

11

기울기 노름이 매 스텝 자르기 한계(0.1)를 넘는다

정상이다. 이 설정에서는 매 스텝 잘리고, Adam 에 들어가는 기울기의 크기가 스텝마다 같아진다

자르기 전의 노름을 기록한다

고칠 것 없음

11

두 설정의 AP 가 0.003 차이 나서 한쪽이 낫다고 결론 내렸다

같은 설정을 다시 돌려도 그만큼은 움직인다(GPU 연산의 비결정성, 시드)

같은 설정을 두 번, 시드를 바꿔 세 번 돌려 폭을 잰다

눈금보다 작은 차이는 읽지 않는다

08 · 11

학습 손실이 다시 올랐는데 검증 AP 는 계속 오른다

학습 손실은 배치마다 해상도가 바뀌고 증강이 걸린 값이라 에폭 평균이 조금 오르내린다

검증 AP 곡선을 본다

모델을 고르는 기준은 학습 손실이 아니라 검증 AP

14

같은 모델로 train() 을 다시 불렀더니 처음부터 다시 배운다

이어서 학습하는 것이 아니라 처음의 사전 학습 가중치에서 다시 시작한다

경고 메시지를 읽는다

resume= 에 last.ckpt 경로를 준다

14

자기 지도 사전 학습의 손실은 낮은데 특징이 쓸모없다

붕괴. 어떤 그림에도 같은 답을 낸다

교사 출력의 엔트로피가 0 이거나 균등 분포의 값에 붙어 있는지 본다. 얼린 특징에 선형 분류기를 얹어 무작위 초기화 백본과 견준다

centering 과 sharpening 을 함께 쓴다

06

어텐션 · 백본 · 해상도

증상

흔한 원인

확인법

고칠 곳

장

다른 해상도의 그림을 넣으면 “The size of tensor a (65) must match the size of tensor b (145)” 오류가 난다

위치 임베딩은 자리 수가 정해진 표라 해상도에 묶여 있다

토큰 수와 위치 임베딩의 자리 수를 견준다

위치 임베딩을 2차원 격자로 되돌려 보간한다

06

rfdetr 가 해상도를 거절한다(ValueError)

한 변이 patch_size × num_windows 의 배수가 아니다(Nano 는 32 의 배수)

해상도를 그 수로 나눠 본다

가장 가까운 배수로 바꾼다. 학습 · 추론 · 내보내기 모두 같은 제약이다

10 · 14

한 해상도로만 학습한 모델에 다른 해상도를 넣으니 AP 가 무너진다

고정 구성으로 학습한 가중치는 그 구성에만 맞는다(12장: 해상도 96 에서 0.9345 인 모델이 64 에서 0.1329, 128 에서 0.3063)

학습한 구성에서의 AP 와 견준다

여러 구성을 돌려 가며 학습한다(가중치 공유 NAS, 다중 해상도 학습). 또는 쓸 구성으로 미세 조정한다

12

패치 크기를 바꾸려고 패치 임베딩 커널을 쌍선형 보간했더니 AP 가 떨어진다

보간만 하면 토큰의 크기가 달라진다(12장: 배율이 커질수록 0.8585 → 0.7579 → 0.6315)

같은 그림에서 원래 토큰과 새 토큰의 값을 견준다

PI-resize 로 내적을 지키며 커널을 바꾼다(0.9348 – 0.9352 로 그대로)

12

모델이 객체의 종류는 맞히는데 위치를 전혀 맞히지 못한다

위치 인코딩 · 위치 임베딩을 더하지 않았다. 어텐션은 순서를 모른다(5장 실험: 오차가 평균만 답하는 기준선 17.06 픽셀과 같았다)

위치 인코딩을 0 으로 지웠을 때와 결과가 같은지 본다

토큰에 위치 인코딩을 더한다

05 · 06

모든 블록을 윈도 어텐션으로 바꿨더니 한 윈도의 정보가 다른 윈도에 전혀 닿지 않는다

모든 블록이 윈도 블록이면 윈도 사이로 정보가 전혀 흐르지 않는다

칸 하나의 입력을 바꿨을 때 다른 윈도의 출력이 변하는지 본다

전역 블록을 사이에 끼운다

09

어느 블록이 윈도 블록인지 논문과 코드가 다르다

논문 부록 A 의 표기와 공개 코드의 실제 동작(out_feature_indexes 의 여집합)이 다르다

모델에서 블록마다의 설정을 출력한다

공개 가중치를 쓴다면 코드의 동작을 따른다(Nano 는 전역 블록 3 · 6 · 9)

10

직접 만든 쌍선형 보간이 F.grid_sample 과 반 칸쯤 어긋난다

좌표 규약이 다르다. align_corners=False 에서는 정규화 좌표에 너비를 곱한 뒤 0.5 를 뺀 값이 칸 눈금이다

3×3 맵의 한 점을 손으로 계산해 맞춘다

칸 눈금 식을 고치고, 맵 밖은 0 으로 읽는다

08

변형 어텐션으로 바꿨는데 오히려 느리다

맵이 작으면 그렇다(12×12 맵에서 교차 어텐션 한 번이 2.6배 길었다). 값 투영은 여전히 모든 칸에 한다

맵 크기를 키워 가며 두 어텐션의 시간을 잰다

이득은 큰 맵에서 나온다. 모델 전체를 내보낸 뒤에 잰다

08

윈도 어텐션으로 연산량은 줄었는데 빨라지지 않는다

줄어드는 것은 토큰 수의 제곱에 비례하는 항뿐이다. 토큰이 적으면 이득이 없고, 순서 바꾸기 연산이 시간을 먹는다

토큰 수를 바꿔 가며 잰다

윈도 우선 배치. 연산량과 지연 시간은 따로 확인한다

09

추론 때 질의 수를 줄였더니 남은 질의의 출력까지 달라졌다

정상이다. 질의들은 디코더의 자기 어텐션으로 서로를 본다

—

고칠 것 없음. 질의는 점수 순서의 앞에서부터 남긴다

10 · 12

어텐션 지도가 객체가 아닌 곳만 밝다

고장이 아닐 수 있다. 같은 구조 · 같은 데이터에서도 시드에 따라 “도형만 빼고 보는” 풀이가 나왔다

그 모델의 예측 오차를 본다

어텐션 지도를 “모델이 중요하게 여기는 곳” 으로 단정하지 않는다

05

분할 마스크

증상

흔한 원인

확인법

고칠 곳

장

마스크의 경계가 계단처럼 뭉툭하다

마스크 로짓은 그림의 1/4 해상도에서 계산된다. 0 에서 먼저 자른 뒤에 키웠다

후처리의 순서를 본다

로짓을 그림 크기로 키운 뒤에 0 에서 자른다

13

작은 객체의 마스크가 비어 나온다

BCE 는 칸마다 채점해 평균을 내므로 작은 객체를 놓친 칸이 배경에 묻힌다(통째로 놓쳤을 때 9칸 객체의 BCE 0.08, 288칸 객체 2.31)

객체 크기별로 마스크 IoU 를 본다

다이스 손실을 함께 쓴다(크기와 무관: 0.93, 0.98)

13

대강의 영역은 맞는데 경계가 무디다

다이스 손실만 썼다(4 에폭 절제: 마스크 AP 0.561, AP75 0.590)

마스크 AP50 과 AP75 를 따로 본다

BCE 와 다이스를 함께 쓴다(같은 절제에서 0.743)

13

분할 머리를 달고 학습하자 박스 AP 가 떨어졌다

마스크 손실의 기울기가 탐지와 함께 쓰는 백본 · 프로젝터 · 디코더를 움직인다(13장: 0.9347 에서 한 에폭 뒤 0.8906)

분할 머리 없이 같은 만큼 더 학습한 대조군과 견준다

더 학습한다(30 에폭에 0.9349 로 돌아왔다)

13

같은 가중치 · 같은 배치인데 마스크 손실 값이 실행마다 다르다

점 표본 추출이 스텝마다 다른 점을 뽑는다

시드를 고정하거나 전체 픽셀로 계산해 견준다

고칠 것 없음. 마스크 격자가 작을수록 잡음이 크다

13

디코더 층을 줄였더니 마스크가 박스보다 더 많이 나빠졌다

분할 머리의 블록도 디코더 층과 함께 빠진다. 층 \(l\) 의 질의는 블록을 \(l\) 개 지난 맵과 내적된다

층 수별 박스 AP 와 마스크 AP 를 함께 본다

분할 모델은 디코더를 덜 줄인다

13

추론 · 내보내기 · 지연 시간

증상

흔한 원인

확인법

고칠 곳

장

논문 · README 의 2.3 ms 가 내 컴퓨터에서는 수십 ms 다

재는 조건이 다르다. 그 값은 NVIDIA T4, TensorRT 엔진, FP16, 순전파만, 배치 1 의 값이다

하드웨어 · 실행기 · 정밀도 · 잰 범위 네 가지를 적어 본다

같은 기계 · 같은 실행기 · 같은 정밀도 · 같은 범위끼리만 견준다

12 · 14

GPU 에서 잰 시간이 터무니없이 짧다

GPU 연산이 끝나기를 기다리지 않고 시계를 멈췄다

시계를 멈추기 전에 torch.cuda.synchronize() 를 부르는지 본다

동기화한 뒤에 시간을 읽는다

12 · 14

첫 몇 번의 측정만 유독 느리다

예열이 끝나지 않았다

측정값을 순서대로 그려 본다

처음 몇 번을 버리고, 여러 번 재서 중앙값을 쓴다

12 · 14

잴 때마다 지연 시간이 다르다

GPU 의 전력 제한(과열), 같은 기계의 다른 작업

견줄 구성들을 번갈아 여러 라운드로 재서 라운드별 중앙값을 본다

논문의 방법: 순전파 사이에 200 ms 쉰다. 소수 첫째 자리까지만 보고한다

12

FP16 엔진의 지연 시간과 FP32 모델의 AP 를 한 표에 적었다

정확도(AP)와 지연 시간은 같은 산출물로 재야 한다. 논문의 예: D-FINE (M) 을 공개된 내보내기 코드 그대로 FP16 으로 바꾸면 AP 가 0.5 로 무너졌다

내보낸 모델의 출력을 원래 모델과 수치로 견주고, 내보낸 모델로 다시 채점한다

같은 산출물로 AP 와 지연 시간을 함께 보고한다

12

파레토 곡선에서 고른 모델이 내 장비에서는 최선이 아니다

파레토 경계는 모델 + 하드웨어 + 실행 방식의 성질이다. 가로축을 연산량에서 지연 시간으로 바꾸기만 해도 경계가 달라졌다

내 장비에서 구성마다 지연 시간을 다시 잰다

AP 는 그대로 두고 지연 시간만 다시 재어 경계를 다시 뽑는다

12

ONNX 출력에서 박스와 로짓이 뒤바뀐 것 같다

출력을 모양으로 구별했다. 클래스가 3개면 로짓(3 + 1칸)과 박스의 모양이 똑같이 [1, 300, 4] 다

출력의 이름을 출력한다

session.run(["dets", "labels"], …) 처럼 이름으로 꺼낸다

14

ONNX 와 PyTorch 의 출력을 질의 300개 전체로 견주니 크게 다르다

배경 질의들의 제안 점수가 서로 거의 같아 순위가 뒤바뀐다. 차이가 난 질의의 점수는 가장 높은 것도 0.013 이었다

점수가 문턱값을 넘는 질의만 견준다(박스 최대 차이 7.8e-05)

고칠 것 없음

14

미세 조정한 모델의 class_id 가 하나씩 밀린 것 같다

미세 조정한 모델의 클래스 번호는 주석 파일의 범주 id 순서대로 0 부터 다시 매긴 번호다

범주 id 와 모델의 번호를 나란히 출력한다

이름 표를 다시 매긴 번호 기준으로 만든다

14

같은 객체가 서로 다른 두 클래스로 두 번 나온다

후처리의 상위 K 개는 질의 K 개가 아니라 (질의, 클래스) 쌍 가운데 점수가 높은 K 개다

두 결과의 박스가 같은 질의에서 왔는지 본다

점수 문턱값을 올린다. 잘 학습된 모델에서는 둘째 클래스의 점수가 한참 낮다

14

사전 학습 모델이 내 그림의 객체를 엉뚱한 이름으로 부른다

COCO 로 학습한 모델은 COCO 의 클래스만 안다

—

내 데이터로 미세 조정한다

14

예측의 색 · 클래스가 이상하다

numpy 배열을 BGR 순서로 넣었다(OpenCV 로 읽은 그림)

입력 그림을 그대로 저장해 열어 본다

RGB 순서로 뒤집어 넣는다

14

AttributeError: ... has no attribute 'optimize_for_inference'

예전 글의 예제다. 이 이름은 inference() 로 바뀐 뒤 지워졌다

설치한 판을 확인한다(이 튜토리얼은 1.12.1)

model.inference() 가 돌려주는 추론기를 쓴다

14

검증 데이터를 찾지 못한다

폴더 이름이 val/ 이다

폴더 구조를 본다

valid/ 로 하고, 주석 파일은 _annotations.coco.json

14

3. 설정값 참고표

논문과 공식 구현의 값은 “COCO 와 그 규모의 데이터에서 잘 된 값” 이다. 그대로 쓰기보다 출발점으로 삼으라. 판에 따라 값이 다를 수 있으니, 정확한 재현이 필요하면 설치한 판의 rfdetr/config.py 를 직접 확인하라.

공식 구현의 기본값

이 튜토리얼이 확인한 설치판(rfdetr 1.12.1)의 값이다.

항목

값

설정 이름

장

매칭 비용

2 · 포컬 꼴 분류(α = 0.25, γ = 2) + 5 · L1 + 2 · (−GIoU). 질의 묶음마다 따로 매칭

—

11

손실의 계수

분류 1, L1 5, GIoU 2. 모든 디코더 층과 인코더 제안에 같은 손실

cls_loss_coef, bbox_loss_coef, giou_loss_coef

11

분류 손실

IA-BCE (지수 0.25)

ia_bce_loss=True

09

질의 수 · 묶음 수

300 · 13 (추론은 첫 묶음만)

num_queries, group_detr

09 · 10

디코더

차원 256, 자기 어텐션 머리 8, 교차 어텐션 머리 16, 표본점 2, FFN 2048, 층 수는 크기마다 다름(Nano 2)

hidden_dim, sa_nheads, ca_nheads, dec_n_points, dim_feedforward, dec_layers

10

박스 예측

박스 재매개변수화, 모든 층이 처음 기준 박스를 함께 씀

bbox_reparam=True, lite_refpoint_refine=True

10

분류 머리의 편향

사전 확률 0.01 에 맞춰 초기화

—

04 · 10

학습률

1e-4 (프로젝터 · 머리 등), 백본 기준 1.5e-4, 워밍업 없음, 끝까지 일정

lr, lr_encoder, warmup_epochs=0

11

학습률 감쇠

층별 0.8, 구성 요소별 0.7

lr_vit_layer_decay, lr_component_decay

11 · 14

옵티마이저

AdamW, 가중치 감쇠 1e-4

weight_decay

04 · 11

기울기 자르기

최대 노름 0.1

clip_max_norm

11

EMA

감쇠 0.993, 워밍업 상수 100

ema_decay, ema_tau

11

배치 · 에폭

배치 4, 기울기 누적 1, 100 에폭. 실효 배치 크기 = 배치 × 누적 횟수

batch_size, grad_accum_steps, epochs

14

증강 · 해상도

수평 뒤집기 · 무작위 자르기, 배치 단위 다중 해상도

multi_scale, expanded_scales

11

마스크 손실(분할)

BCE 5, 다이스 5, 마스크는 그림의 1/4 해상도, 점은 칸 수의 1/16

mask_ce_loss_coef, mask_dice_loss_coef, mask_downsample_ratio, mask_point_sample_ratio

13

참고 · 논문의 학습 설정(부록 A)과 견주면
RF-DETR 논문은 학습률 1e-4(LW-DETR 은 4e-4), 배치 128, EMA, 학습률 워밍업 없음, 기울기 0.1 로 자르기, DINOv2 백본의 층별 학습률 감쇠 0.8, 다중 해상도 0.5 – 1.5 배(LW-DETR 은 0.7 – 1.4)를 적었다. 패키지의 기본 배치는 4 이고, 문서는 실효 배치 16 을 권한다. 논문과 패키지의 값이 다른 곳은 출처를 밝혀 구별해 쓰라(11장, 14장).

이 튜토리얼의 미니 모델

개인 컴퓨터에서 몇 분 – 수십 분 안에 돌도록 줄인 값이다. 데이터는 모두 도형 세상(96×96, 클래스 3개, 그림마다 객체 1 – 4개)이고 학습 4,000장, 검증 500장(객체 1,265개)이다.

장 · 파일

주요 설정

07 · ch07_detr.py

MiniDETR: 질의 12개, 디코더 3층, 특징 맵 12×12(토큰 144개), 60 에폭(에폭당 125 스텝), 48 에폭 뒤 학습률 낮춤

08 · ch08_deformable.py

Deformable DETR 미니 판: 질의 12개, 특징 레벨 2개(12×12, 6×6), 박스 반복 정제, 포컬 손실, 60 에폭. 절제는 15 에폭

10 · ch10_rfdetr_model.py

MiniRFDETR: 해상도 96 · 패치 8(격자 12×12), 백본 차원 96 · 블록 6개 · 머리 4개, 윈도 블록 [0, 1, 3, 5] · 전역 블록 [2, 4], 한 변의 윈도 수 2, 프로젝터 3 × 96 → 128, 디코더 3층, 질의 12 × 묶음 4, 매개변수 1,832,707개

11 · ch11_train.py

10장 모델을 배치 32 · 60 에폭, 학습률 2e-4(나머지 학습률 규칙 · EMA · 기울기 자르기 · 손실 계수는 공식과 같음), 증강 없음, 백본은 무작위 초기화. 절제는 15 에폭 · 시드 3개

12 · ch12_nas.py

학습 때: 해상도 (64, 80, 96, 112, 128) × 패치 (8, 16) × 윈도 (1, 2, 4) 가운데 쓸 수 있는 조합 23개에서 스텝마다 하나. 탐색: 디코더 층 0 – 3, 질의 4 · 8 · 12 까지 돌린 구성 408개

13 · ch13_seg.py

11장의 EMA 가중치에 분할 머리(매개변수 219,137개)를 달아 30 에폭. 마스크 격자 24×24, 손실에 쓰는 점 36개. 절제는 4 에폭 · 시드 3개

14 · ch14_finetune.py

RF-DETR Nano(384×384)를 도형 세상 1,000장으로 5 에폭. 배치 2 × 기울기 누적 4, 학습률 1e-4. 무작위 초기화 대조군은 3 에폭

팁 · 내 데이터에서 무엇부터 바꿀까
잘 안 될 때 살펴볼 순서는 대략 다음과 같다.
  1. 데이터: 주석이 맞는지, 클래스마다 그림이 충분한지
  2. 사전 학습 가중치에서 출발했는지(14장의 실험에서 차이가 가장 컸던 것)
  3. 입력 해상도와 모델 크기(객체가 작으면 해상도부터)
  4. 학습 길이와 실효 배치 크기
  5. 그다음에 학습률. 손실 계수와 매칭 비용은 보통 건드리지 않는다

4. 장별 핵심 수식 모음

튜토리얼에서 유도한 핵심 식을 장 순서로 모았다. 유도 과정과 손계산은 각 장의 풀이 상자에 있다. 같은 글자가 장마다 다른 뜻으로 쓰이는 경우가 있으므로(예: 글자 N 은 5 · 6 · 9장에서 토큰 수, 7 · 8 · 10장에서 질의 수), 식 속 기호는 그 줄의 장 칸이 가리키는 장의 뜻으로 읽는다. 표기 규칙은 0장과 각 장 앞의 “이 장의 표기” 상자를 따른다.

수식 · 기초 체력 (02 – 06장)

식

뜻

장

\((x_0,\ y_0,\ x_1,\ y_1) = \left(c_x - \tfrac{w}{2},\ c_y - \tfrac{h}{2},\ c_x + \tfrac{w}{2},\ c_y + \tfrac{h}{2}\right)\)

중심 표현 → 모서리 표현

02

\((c_x,\ c_y,\ w,\ h) = \left(\frac{x_0 + x_1}{2},\ \frac{y_0 + y_1}{2},\ x_1 - x_0,\ y_1 - y_0\right)\)

모서리 표현 → 중심 표현

02

\(|A \cup B| = |A| + |B| - |A \cap B|\)

합집합의 넓이(포함 배제의 원리)

02

\(\operatorname{IoU}(A, B) = \dfrac{|A \cap B|}{|A \cup B|}\)

IoU. 0 – 1, 대칭, 크기 불변

02

\(\operatorname{IoU} = \dfrac{w - d}{w + d}\)

크기가 같은 두 박스를 가로로 \(d\) 만큼 밀었을 때의 IoU. 너비의 1/3 만 어긋나도 0.5

02

\(\operatorname{GIoU}(A, B) = \operatorname{IoU}(A, B) - \dfrac{|C| - |A \cup B|}{|C|}\)

GIoU. \(C\) 는 둘러싸는 박스. 겹치지 않아도 멀수록 낮아진다

02

\(\mathcal{L}_{\text{box}}(b, \hat{b}) = \lambda_{\text{L1}}\,\|b - \hat{b}\|_1 + \lambda_{\operatorname{GIoU}}\,\big(1 - \operatorname{GIoU}(b, \hat{b})\big), \quad \lambda_{\text{L1}} = 5,\ \lambda_{\operatorname{GIoU}} = 2\)

DETR 계열의 박스 손실

02

\(P = \dfrac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FP}}, \quad R = \dfrac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FN}}\)

정밀도와 재현율

03

\(\mathrm{AP} = \dfrac{1}{101} \sum_{i=0}^{100} p_{\mathrm{interp}}\!\left(\dfrac{i}{100}\right)\)

COCO 의 101점 보간 AP(클래스 하나 · IoU 문턱값 하나)

03

\(\mathrm{AP} = \dfrac{1}{10} \sum_{\tau \in \{0.50,\, 0.55,\, \dots,\, 0.95\}} \;\dfrac{1}{C} \sum_{c=1}^{C} \mathrm{AP}_c^{\tau}\)

COCO 의 AP: 클래스 평균이자 IoU 문턱값 열 개의 평균

03

\(\theta \leftarrow \theta - \eta\nabla_\theta L\)

경사 하강법

04

\(\sigma(z) = \dfrac{1}{1 + e^{-z}}, \quad \sigma' = \sigma(1 - \sigma), \quad z = \log\dfrac{p}{1 - p}\)

시그모이드와 그 미분, 로짓(로그 오즈)

04

\(\operatorname{BCE} = -y\log p - (1 - y)\log(1 - p) = \max(z, 0) - zy + \log(1 + e^{-|z|})\)

이진 교차 엔트로피와, 로짓에서 바로 계산하는 꼴. 로짓에 대한 기울기는 \(p - y\)

04

\(\mathrm{FL}(p_t) = -\,\alpha_t\,(1 - p_t)^{\gamma}\,\log p_t\)

포컬 손실. \(\gamma = 0\) 이면 BCE

04

\(b = -\log\dfrac{1 - \pi}{\pi}\)

사전 확률 편향 초기화(\(\pi = 0.01\) 이면 \(-4.5951\))

04

\(\theta \leftarrow (1 - \eta\lambda)\theta\)

AdamW 의 가중치 감쇠(기울기 갱신과 따로)

04

\(\lfloor (n_{\text{in}} - F + 2P)/S \rfloor + 1\)

합성곱의 출력 크기

04

\(\operatorname{Attention}(Q, K, V) = \operatorname{softmax}\!\left( \dfrac{Q K^{\top}}{\sqrt{d_k}} \right) V\)

스케일드 내적 어텐션

05

\(\operatorname{Var}\!\left( \dfrac{q \cdot k}{\sqrt{d_k}} \right) = \dfrac{d_k}{d_k} = 1\)

\(\sqrt{d_k}\) 로 나누는 이유(성분이 독립이고 분산 1 일 때)

05

\(4 \times (D^2 + D)\)

다중 머리 어텐션의 매개변수 수. 머리 수와 무관

05

\(f(PX) = Pf(X)\)

순열 등변성: 어텐션은 순서를 모른다

05

\(N = (H/p)(W/p)\)

ViT 의 패치 토큰 수

06

\(\text{블록 하나} \approx 12\,N D^2 + 2\,N^2 D\)

ViT 블록 하나의 곱셈 횟수. 토큰 수에 비례하는 항과 제곱에 비례하는 항

06

\(\theta_t \leftarrow m\,\theta_t + (1 - m)\,\theta_s\)

DINO 의 교사는 학생의 지수 이동 평균

06

\(\mathrm{CE}(P_t, P_s) = \mathrm{Ent}(P_t) + D_{\mathrm{KL}}(P_t\,\|\,P_s)\)

DINO 의 손실(교차 엔트로피)을 교사의 엔트로피와 KL 발산으로 나누기

06

수식 · DETR 계보 (07 – 09장)

식

뜻

장

\(\hat{\sigma} = \operatorname*{arg\,min}_{\sigma} \sum_{j=0}^{T-1} C_{\sigma(j),\, j}\)

이분 매칭: 총비용이 최소인 일대일 배정

07

\(C_{ij} = -\hat{p}_i(c_j) + 5\,\lVert \hat{b}_i - b_j \rVert_1 - 2\,\operatorname{GIoU}(\hat{b}_i, b_j)\)

DETR 의 매칭 비용

07

\(\mathcal{L}_{\text{Hungarian}} = \sum_{i=0}^{N-1} -\log \hat{p}_i(t_i) + \sum_{j=0}^{T-1} \mathcal{L}_{\text{box}}\big(b_j,\, \hat{b}_{\hat{\sigma}(j)}\big)\)

집합 손실(헝가리안 손실): 모든 질의의 분류 + 짝이 있는 질의의 박스

07

\(v = (1 - t_x)(1 - t_y)\,v_{00} + t_x(1 - t_y)\,v_{01} + (1 - t_x)\,t_y\,v_{10} + t_x\,t_y\,v_{11}\)

쌍선형 보간: 네 이웃의 가중 평균

08

\(\dfrac{\partial v}{\partial x} = W\Big[(1 - t_y)(v_{01} - v_{00}) + t_y(v_{11} - v_{10})\Big]\)

읽은 값을 표본 위치로 미분. 오프셋을 경사 하강법으로 배울 수 있는 이유

08

\(\operatorname{DeformAttn}(z_q,\ p_q,\ X) = \sum_{m=1}^{M} W^O_m \Big[ \sum_{k=1}^{K} A_{mqk} \cdot W^V_m\, X(p_q + \Delta p_{mqk}) \Big]\)

변형 어텐션(단일 스케일): 기준점 둘레의 표본점만 읽는다

08

\(\hat{b}^{d} = \sigma(\Delta b^{d} + \sigma^{-1}(\operatorname{sg}(\hat{b}^{d-1}))), \quad \sigma^{-1}(x) = \log\frac{x}{1-x}\)

박스 반복 정제: 로짓 공간에서 더하고, 다음 층으로 넘길 때 기울기를 끊는다

08

\(\dfrac{N^2}{W_n^2}\)

윈도 어텐션 한 번의 (질의, 열쇠) 쌍의 수. 전역 어텐션은 \(N^2\)

09

\(\ell_{\text{cls}} = \sum_{i=1}^{N_{\text{pos}}} \operatorname{BCE}(p_i,\ t_i) + \sum_{j=1}^{N_{\text{neg}}} p_j^{2}\, \operatorname{BCE}(p_j,\ 0), \quad t = p^{\alpha}\, u^{1-\alpha}\)

IoU 인지 BCE 손실(IA-BCE). 양성 칸의 기울기 \(p - t\) 가 0 이 되는 곳이 \(p = u\)

09

\(\hat{x} = \delta_x w_r + x_r, \quad \hat{w} = e^{\delta_w} w_r\)

박스 재매개변수화: 기준 박스의 크기를 단위로 옮기고 키운다

09

\((\delta_x,\ \delta_y,\ \delta_w,\ \delta_h) = \left(\frac{x_g - x_r}{w_r},\ \frac{y_g - y_r}{h_r},\ \log\frac{w_g}{w_r},\ \log\frac{h_g}{h_r}\right)\)

역변환: 기준 박스를 정답 박스로 옮기는 변화량

09

수식 · RF-DETR 과 실전 (10 – 14장)

식

뜻

장

\(\operatorname{reparam}(\delta, r) = \big( \delta_x\, r_w + r_x,\ \delta_y\, r_h + r_y,\ e^{\delta_w}\, r_w,\ e^{\delta_h}\, r_h \big)\)

10장의 표기로 쓴 박스 재매개변수화

10

\(r_q = \operatorname{reparam}\big( e_q,\ \operatorname{sg}(\hat{b}^{\text{enc}}_q) \big), \quad \hat{b}^{d}_q = \operatorname{reparam}\big( \delta^{d}_q,\ r_q \big)\)

기준 박스는 인코더 제안에서, 각 층의 예측 박스는 같은 기준 박스에서

10

\(\mathcal{L} = \sum_{\ell \,\in\, \mathcal{S}} \Big( 1 \cdot \mathcal{L}^{(\ell)}_{\text{cls}} + 5 \cdot \mathcal{L}^{(\ell)}_{\text{L1}} + 2 \cdot \mathcal{L}^{(\ell)}_{\operatorname{GIoU}} \Big), \quad \mathcal{S} = \{\text{enc},\ 1,\ 2,\ \dots,\ L_{\text{dec}}\}\)

RF-DETR 의 전체 손실: 인코더 제안과 디코더 각 층의 합

11

\(\eta_n = \eta_{\min} + \tfrac{1}{2}\,(\eta_0 - \eta_{\min})\left(1 + \cos\dfrac{\pi\, n}{n_{\text{end}}}\right)\)

코사인 스케줄. 끝 \(n_{\text{end}}\) 를 미리 알아야 한다(RF-DETR 은 쓰지 않는다)

11

\(\mathbf{g} \leftarrow \mathbf{g} \cdot \min\!\left(1,\ \dfrac{c_{\max}}{\lVert \mathbf{g} \rVert}\right)\)

기울기 자르기(\(c_{\max} = 0.1\))

11

\(\theta_{\text{ema}} \leftarrow d\,\theta_{\text{ema}} + (1 - d)\,\theta, \quad d_n = d \cdot \left(1 - e^{-n/\tau}\right)\)

EMA 와 감쇠 워밍업(\(d = 0.993\), \(\tau = 100\))

11

\(\eta_{\text{enc}} \cdot \lambda^{\,L + 1 - i} \cdot \rho^{2}\)

층별 학습률 감쇠: 백본 매개변수의 학습률

11

\(r_s = 1 - \dfrac{6 \sum_{k=1}^{P} \delta_k^{\,2}}{P\,(P^2 - 1)}\)

스피어만 상관: 점수의 순위와 IoU 의 순위가 얼마나 맞는가

11

\(J(\theta) = \mathbb{E}_{c \sim \mathcal{C}}\big[\, \mathcal{L}(\theta; c) \,\big] = \dfrac{1}{|\mathcal{C}|} \sum_{c \in \mathcal{C}} \mathcal{L}(\theta; c)\)

가중치 공유 NAS 의 학습 목표: 구성마다의 손실의 평균

12

\(\hat{w} = R\,(R^\top R)^{-1}\, w = (R^\top)^{+}\, w\)

PI-resize: 내적을 지키며 패치 임베딩 커널의 크기를 바꾼다

12

\(z_n(x, y) = \big\langle f(q_n),\ e(x, y) \big\rangle + \beta\)

마스크 로짓: 질의 쪽 벡터와 픽셀 임베딩의 내적

13

\(L_{\text{dice}} = 1 - \dfrac{2 \sum_{i} p_i\, t_i + 1}{\sum_{i} p_i + \sum_{i} t_i + 1}\)

다이스 손실(공식 구현의 꼴)

13

\(\operatorname{Dice} = \dfrac{2\,\operatorname{IoU}}{1 + \operatorname{IoU}}\)

다이스 계수와 IoU 의 관계

13

\([x^{\text{px}},\ y^{\text{px}},\ w^{\text{px}},\ h^{\text{px}}] = \Big[ \Big(c_x - \frac{w}{2}\Big) W,\ \Big(c_y - \frac{h}{2}\Big) H,\ wW,\ hH \Big]\)

정규화 중심 표현 → COCO 의 픽셀 [x, y, w, h]

14

\(c_x = \dfrac{x^{\text{px}} + w^{\text{px}}/2}{W}, \quad c_y = \dfrac{y^{\text{px}} + h^{\text{px}}/2}{H}, \quad w = \dfrac{w^{\text{px}}}{W}, \quad h = \dfrac{h^{\text{px}}}{H}\)

COCO 의 픽셀 [x, y, w, h] → 정규화 중심 표현

14

5. 실험 결과 한눈에

이 튜토리얼의 실험은 모두 도형 세상에서 한 작은 실험이다. 아래 수치는 각 장 본문의 값을 그대로 옮긴 것이고, 따로 적지 않았으면 검증 세트 500장(객체 1,265개)에서 잰 값 · 시드 하나다. 논문이 COCO 에서 보고한 수치와 섞어 읽지 마라. 도형 세상의 AP 0.93 은 문제가 쉬워서 나온 값이다(3장).

장별 미니 실험의 핵심 수치

장

실험

핵심 수치

읽을 것

02

박스 하나를 경사 하강법으로 정답에 맞추기(2,000 스텝)

마지막 IoU: IoU 손실 0.0000, GIoU 손실 0.9926, L1 1.0000, 둘을 합친 손실 0.7986. IoU 0.9 에 닿은 스텝: GIoU 244, L1 234, 합친 손실 45

IoU 손실은 겹치지 않으면 움직이지 못한다. 합친 손실이 빨랐던 것은 계수가 학습률을 키운 효과였다

03

가짜 탐지기로 AP 가 무엇에 반응하는지 보기

박스 잡음 0.10: AP50 0.971, AP75 0.170, AP 0.377. 같은 박스에 점수만 달리: AP 0.369 – 0.480. 점수가 비슷한 중복 셋씩: AP 0.700 → 0.608. 낮은 점수의 헛예측 96개씩: 0.700 그대로

AP 는 박스의 정밀함과 점수의 순서에 반응하고, 낮은 점수의 헛예측에는 반응하지 않는다

04

불균형한 분류를 세 가지 설정으로 학습

첫 손실: 편향 0 은 121.03, 사전 확률 편향은 6.36. 1 에폭 뒤 AP 0.016 대 0.341. 30 에폭 뒤 AP: BCE 0.928 ± 0.010, 포컬 0.914 ± 0.005

사전 확률 편향은 초반 학습을 뚜렷이 돕는다. 포컬 손실은 이 실험에서 BCE 를 이기지 못했다

05

교차 어텐션 한 층으로 도형의 중심 찾기, 토큰 수와 시간

질의가 어텐션 가중치의 93 – 97% 를 자기 도형에 줌(세 시드). 위치 인코딩이 없으면 오차 17.06 – 17.07 픽셀(평균만 답하는 기준선 17.06). 시간은 토큰 수의 2.14 제곱(직접 구현) · 1.88 제곱(내장 모듈)

어텐션은 내용으로 찾고 위치를 가져온다. 위치 인코딩이 없으면 위치를 알 수 없다

06

MiniViT 의 해상도 바꾸기, 미니 DINO 의 선형 분류기 평가

세 라벨을 모두 맞힌 비율: 학습한 해상도 96 에서 0.920, 위치 임베딩을 보간한 128 에서 0.953, 64 에서 0.790. 도형 하나의 종류: 무작위 초기화 0.59, 도형 하나짜리 그림으로 학습한 미니 DINO 0.934, 지도 학습 0.999

위치 임베딩을 보간하면 다른 해상도에서도 쓸 수 있다. 자기 지도 학습이 무엇을 배우는지는 데이터가 정한다

07

MiniDETR 60 에폭

AP 0.8375, AP50 0.9863, AP75 0.9500. 디코더 1 · 2 · 3층의 AP 0.8067 · 0.8365 · 0.8375. NMS 전후 AP 차이 −0.0016. 겹치는 쌍 153 → 55 → 45

NMS 없이도 중복이 드물다. 어느 디코더 층에서 멈춰도 예측이 나온다

08

Deformable DETR 미니 판 60 에폭, 15 에폭 절제

AP 0.8982, AP50 0.9795. AP 0.8 에 처음 닿은 에폭 7(7장은 50). 절제: 기준 0.8763, 박스 반복 정제 없음 0.7500, 2단계 0.9100, 단일 레벨 0.8563, 인코더 3층 추가 0.8720

7장보다 빨리, 높이 간다. 절제에서 뚜렷했던 것은 박스 반복 정제와 2단계 질의 선택

09

윈도 우선 배치와 행 우선 배치 대조

두 방식의 출력 최대 차이 7.15e-07. 시간 차이는 이 PC 의 측정에서 드러나지 않음

윈도 우선 배치는 같은 계산을 순서 바꾸기 없이 한다. 속도 이득은 이 튜토리얼에서 확인하지 못했다

10

RF-DETR Nano 의 모양 · 매개변수 실측

매개변수 30,467,298개(추론에 쓰이는 것 26,863,662개). 미니 모델은 1,832,707개(1,675,870개)

학습에만 쓰이는 매개변수(질의 묶음 · 묶음별 머리)가 있다

11

미니 RF-DETR 60 에폭, 15 에폭 절제(시드 3개)

AP 0.9347(EMA 모델) · 0.9292(일반 모델). AP 0.8 에 처음 닿은 에폭 3. 디코더 0 · 1 · 2 · 3층의 AP 0.8928 · 0.9289 · 0.9332 · 0.9347. 점수와 IoU 의 스피어만 상관 +0.760(8장 모델 +0.358). 절제의 차이 평균: EMA 없음 −0.0135, 포컬 손실 −0.0057, 묶음 1개 −0.0025, 윈도 1 × 1 +0.0006

뚜렷했던 것은 EMA 의 이득과, IA-BCE 가 점수를 IoU 에 맞추는 효과

12

미니 RF-DETR 로 가중치 공유 NAS 60 에폭

기본 구성의 AP 0.9498(11장 고정 구성 모델 0.9345). 구성 408개 가운데 321개가 AP 0.8 이상. 해상도 64 에서 0.9208(고정 구성 모델 0.1329), 128 에서 0.9567(0.3063). PI-resize 로 못 본 패치 크기에서 0.9348 – 0.9352, 쌍선형 보간만 하면 0.8585 → 0.6315

가중치 한 벌에서 모델 가족이 나온다. 고정 구성 모델은 학습한 구성을 벗어나면 무너진다

13

11장 모델에 분할 머리를 달아 30 에폭, 4 에폭 절제(시드 3개)

박스 AP 0.9347 → 0.9349, 마스크 AP 0.8766(AP50 0.9884, AP75 0.9176). 절제의 마스크 AP: BCE + 다이스 0.743, BCE 만 0.707, 다이스만 0.561, 마스크 1/2 해상도 0.775

박스 AP 를 잃지 않고 마스크를 얻는다. 두 손실을 함께 쓴 것이 가장 좋았다

14

실제 RF-DETR Nano 를 도형 세상 1,000장으로 미세 조정

사전 학습 가중치에서: 검증 AP 가 1 에폭 뒤 0.9476, 5 에폭 뒤 0.9839(EMA), 시험 AP 0.983. 무작위 초기화에서: 3 에폭 뒤 검증 0.7749, 시험 0.772. 이 노트북의 지연 시간(중앙값): PyTorch GPU FP32 순전파 16.9 ms, onnxruntime CPU 112.3 ms

미세 조정의 힘은 사전 학습에서 온다. 지연 시간은 재는 조건에 달려 있다

참고 · 0.9345 와 0.9347
11장 미니 RF-DETR 의 AP 는 11장 · 13장에서는 0.9347, 12장의 성적표에서는 0.9345 로 적혀 있다. 같은 가중치다. 12장이 밝힌 대로, 채점할 때 그림을 묶는 배치 크기가 달라 생긴 부동소수 오차다.

같은 데이터에서 이어 달린 세 모델

7장 · 8장 · 11장의 모델은 같은 데이터 · 같은 에폭 수 · 같은 배치 크기로 학습했다. 11장의 표를 옮기면 다음과 같다(검증 AP).

에폭

7장 MiniDETR

8장 Deformable DETR

11장 미니 RF-DETR (EMA)

11장 미니 RF-DETR (일반)

1

0.0048

0.2173

0.3085

0.3011

3

0.0405

0.6698

0.8190

0.8133

7

0.4193

0.8109

0.8907

0.8766

10

0.5788

0.8380

0.9074

0.9023

20

0.7039

0.8654

0.9255

0.9135

40

0.7358

0.8959

0.9325

0.9265

50

0.8386

0.9020

0.9347

0.9277

60

0.8375

0.8982

0.9347

0.9292

AP 0.5 / 0.8 / 0.9 에 처음 닿은 에폭

9 / 50 / —

2 / 7 / 50

2 / 3 / 9

2 / 3 / 10

주의 · 이 표의 차이를 어느 부품의 공으로 돌릴 수 없다
8장의 모델과 11장의 모델 사이에는 일곱 가지가 한꺼번에 바뀌었다.
  1. 백본: 작은 CNN 대신 ViT(윈도 + 전역 어텐션)와 C2f 프로젝터. 특징 레벨도 둘에서 하나로
  2. 2단계 질의 선택(8장의 본 모델은 쓰지 않았다)
  3. 박스: 박스 반복 정제 대신 박스 재매개변수화와 lite 기준점 정제
  4. 분류 손실: 포컬 손실 → IA-BCE
  5. 질의 묶음 4개
  6. EMA
  7. 학습률: 48 에폭 뒤 낮추기 → 끝까지 일정, 층별 감쇠
11장이 이 비교에서 끌어낸 말은 “8장의 본 모델보다 나아진 것의 큰 부분은 2단계 질의 선택과 EMA 로 설명될 수 있다” 까지이다. 부품 하나의 효과는 그 부품만 바꾼 절제 실험에서 읽어야 한다.

기대와 달랐던 결과

좋은 숫자만 골라 읽지 않도록, 미니 실험에서 기대와 달랐거나 논문의 보고를 재현하지 못한 것을 한자리에 모았다. “보이지 않았다” 는 “효과가 없다” 가 아니라 이 데이터 · 이 규모에서 재는 자의 눈금보다 작았다는 뜻이다.

  • 2장: 박스 하나를 맞추는 실험에서는 L1 과 GIoU 를 합친 손실이 따로 쓴 것보다 낫다는 증거가 나오지 않았다. 합친 손실이 빨랐던 것은 계수 때문이었다.
  • 4장: 포컬 손실은 BCE 보다 느리게 배웠고 30 에폭 뒤 AP 도 조금 낮았다(0.914 대 0.928). 문턱값 0.5 에서의 재현율은 뚜렷이 낮았다(0.710 대 0.834).
  • 5장: 같은 구조 · 같은 데이터인데도 시드에 따라 “맡은 도형만 빼고 보는” 어텐션 지도가 나왔다. 그 모델도 도형의 위치를 맞혔다.
  • 6장: 장면으로 학습한 미니 DINO 는 객체 수는 배웠지만(0.754), 장면에 어떤 도형이 있는지는 무작위 초기화 백본과 거의 같았다(0.737 대 0.712 · 0.721).
  • 7장: 논문이 COCO 에서 보고한 DETR 의 느린 수렴(500 에폭)은 재현되지 않았다. 미니 DETR 은 9 에폭에 AP 0.5 를 넘었다. 질의의 크기별 전문화도 보이지 않았다.
  • 8장:
    • AP50 은 7장의 DETR 이 더 높았다(0.9863 대 0.9795).
    • 12×12 맵에서 변형 어텐션은 보통 어텐션보다 2.6배 느렸다.
    • 다중 스케일과 인코더의 효과는 우연 범위(±0.02) 안이었다.
  • 9장: 윈도 우선 배치의 속도 이득(논문은 T4 · TensorRT 에서 3.9 → 2.9 ms)은 이 PC 의 PyTorch 측정에서 드러나지 않았다. 윈도 어텐션 자체의 속도 이득도 토큰이 적으면 없었다.
  • 11장:
    • Group DETR(묶음 4개 대 1개)과 윈도 수의 효과는 눈금 안이었다(−0.0025, +0.0006).
    • IA-BCE 는 점수를 IoU 에 뚜렷이 맞췄지만(스피어만 상관 +0.65 대 +0.26), AP 의 이득은 작았다(포컬 손실로 바꾸면 −0.0057).
    • 약한 백본 사전 학습의 이득은 재현되지 않았다(학습 200장: 공식 학습률 규칙에서 +0.0109, 일정한 학습률에서 −0.0169. 4,000장: −0.0005).
    • 무작위 초기화 백본에는 공식 학습률 규칙보다 일정한 학습률이 나았다(0.7170 대 0.6752).
  • 12장:
    • 디코더 0층(인코더 제안만)에서는 NAS 로 학습한 모델이 고정 구성 모델보다 0.09 낮았다. 가중치 공유의 손해가 드러난 부분망이다.
    • 같은 구성들을 연산량으로 줄 세운 파레토 경계와 이 PC 의 지연 시간으로 줄 세운 경계가 달랐다.
    • 구성 하나로 고정해 미세 조정하면 다른 구성에서는 무너졌다(해상도 96 으로 고정하면 64 / 패치 8 에서 0.9208 → 0.5912).
  • 13장:
    • “작은 객체가 배경에 묻힌다” 는 BCE 의 약점은 크게 드러나지 않았다(BCE 만으로 마스크 AP 0.707).
    • 매칭 비용의 마스크 항은 차이를 만들지 않았다(뺀 것 0.739, 넣은 것 0.743).
    • 사각형에서는 마스크가 박스보다 영역을 더 잘 나타내지 않았다.
    • 분할 머리를 달자 박스 AP 가 한동안 떨어졌다가 돌아왔다(0.9347 → 0.8906 → 0.9349).
  • 14장: 미세 조정의 4 → 5 에폭에서 학습 손실은 올랐는데(1.425 → 1.513) 검증 AP 는 계속 올랐다. EMA 가중치는 다섯 에폭 모두 일반 가중치보다 조금 높았다(차이 0.002 – 0.006).

6. 용어집

튜토리얼에 나온 용어 260개를 주제별 표로 나누고, 표 안에서는 가나다순(숫자 · 영문 먼저)으로 늘어놓았다. “뜻” 은 원문에서 그 용어를 눌렀을 때 뜨는 용어 카드의 요약과 같은 문장이다. “설명한 장” 은 그 용어를 처음 정의하고 자세히 설명한 장이다(이름만 먼저 나온 장은 따로 적지 않았다).

용어 · 탐지의 큰 그림 (01장)

용어

영어

뜻

설명한 장

1단계 탐지기

one-stage detector, single-stage detector

후보 영역 단계 없이, 그림을 한 번 훑으며 박스와 클래스를 바로 내놓는 탐지기.

01장

2단계 탐지기

two-stage detector

후보 영역을 먼저 뽑고, 후보마다 분류하고 박스를 다듬는 탐지기.

01장

객체 탐지

object detection

그림 속 객체마다 어디에 있는지(박스)와 무엇인지(클래스)를 함께 답하는 문제.

01장

벤치마크

benchmark

모두가 같은 데이터로 같은 방식으로 점수를 매기도록 정해 둔 시험.

01장

비전-언어 모델 (VLM)

vision-language model, VLM

그림과 글을 함께 다루도록, 대량의 그림 – 글 쌍으로 학습한 모델.

01장

손으로 만든 부품

hand-designed component

신경망이 배우는 것이 아니라 사람이 규칙과 숫자를 정해 끼워 넣은 탐지기의 부품.

01장

실시간

real-time

쓰는 곳이 요구하는 시간 안에 답을 낸다는 뜻. 정해진 한 숫자는 없고 논문마다 기준을 밝힌다.

01장

앵커

anchor, anchor box

그림 위에 미리 깔아 두는 기준 상자. 탐지기는 앵커를 얼마나 고치면 되는지를 예측한다.

01장

열린 어휘 탐지기

open-vocabulary detector

찾을 대상을 글(낱말 · 문장)로 받는 탐지기. 학습 때 보지 못한 이름도 넣을 수 있다.

01장

이미지 분류

image classification

그림 전체에 클래스 이름표를 붙이는 문제.

01장

인스턴스 분할

instance segmentation

객체마다 그 객체가 차지하는 픽셀(마스크)을 따로 칠하는 문제.

01장

절제 실험

ablation study

바꾼 점을 하나씩 넣거나 빼 가며 성능을 재어, 무엇이 얼마나 도움이 되는지 알아보는 실험.

01장

지연 시간

latency

그림 한 장을 넣고 답이 나올 때까지 걸리는 시간. 단위는 밀리초, 작을수록 좋다.

01장

클래스

class

탐지기가 구별하는 객체의 종류. 목록은 학습 전에 정해 둔다.

01장

클래스 불균형

class imbalance

어떤 답(탐지에서는 배경)이 다른 답보다 압도적으로 많은 상황.

01장

탐지기

detector

객체 탐지 문제를 푸는 모델.

01장

특화 탐지기

specialist detector, closed-vocabulary detector

학습할 때 정한 클래스 목록 안에서만 답하는 탐지기.

01장

후보 영역

region proposal

객체가 있을 법하다고 골라낸 사각형 영역.

01장

COCO

Common Objects in Context

일상 장면 속 흔한 물체를 담은 사진 데이터셋. 객체 탐지의 대표 벤치마크(클래스 80가지).

01장

Objects365

Objects365

대규모 객체 탐지 데이터셋. RF-DETR 과 LW-DETR 이 탐지기 사전 학습에 쓴다.

01장

RF100-VL

Roboflow100-VL

분야가 서로 다른 객체 탐지 데이터셋 100개를 묶은 벤치마크.

01장

용어 · 박스와 채점 (02 – 03장)

용어

영어

뜻

설명한 장

거짓 양성 (FP)

false positive

정답과 짝을 이루지 못한 예측. 헛예측 · 클래스가 틀린 예측 · 박스가 너무 어긋난 예측 · 중복 예측이 모두 여기에 든다.

03장

거짓 음성 (FN)

false negative

어떤 예측과도 짝을 이루지 못한 정답. 탐지기가 놓친 객체.

03장

교집합 (박스)

intersection

두 박스에 모두 들어 있는 부분. 왼쪽 위는 max, 오른쪽 아래는 min 으로 구한 직사각형.

02장

둘러싸는 박스

smallest enclosing box

두 박스를 모두 덮는 가장 작은 박스 C. GIoU 의 계산에 쓴다.

02장

모서리 표현 (xyxy)

corner format, xyxy

박스를 왼쪽 위 모서리와 오른쪽 아래 모서리의 좌표로 적는 방법.

02장

박스 (경계 상자)

bounding box

객체를 둘러싸는, 변이 그림의 가로 · 세로와 나란한 직사각형. 숫자 네 개로 적는다.

02장

박스 회귀

box regression

예측 박스의 네 숫자를 정답 박스에 맞추는 일.

02장

보간 정밀도

interpolated precision

재현율이 r 이상인 자리들 가운데 가장 높은 정밀도. PR 곡선의 톱니를 메운 값.

03장

브로드캐스팅

broadcasting

모양이 다른 텐서를 계산할 때 길이 1 인 축을 상대의 길이만큼 늘려 맞추는 규칙.

02장

재현율

recall

정답 가운데 찾아낸 것의 비율. 빠뜨리지 않는 능력.

03장

점수 문턱값

score threshold, confidence threshold

점수가 이 값 이상인 예측만 인정한다는 기준. 탐지기를 쓰는 쪽이 정한다.

03장

정규화 좌표

normalized coordinates

그림의 너비와 높이를 1 로 보고 0 – 1 사이의 값으로 적은 좌표.

02장

정밀도

precision

예측 가운데 맞은 것의 비율. 헛짚지 않는 능력.

03장

정밀도 – 재현율 곡선 (PR 곡선)

precision-recall curve

예측을 점수 순으로 하나씩 인정해 가며 얻는 (재현율, 정밀도) 점들을 이은 곡선.

03장

정확도

accuracy

전체 문제 가운데 맞힌 문제의 비율. 분류에서 쓰고, 탐지에서는 쓸 수 없다.

03장

중복 예측

duplicate detection

같은 객체를 가리키는 둘째 이후의 예측. 채점에서는 거짓 양성이 된다.

03장

중심 표현 (cxcywh)

center format, cxcywh

박스를 중심의 좌표와 너비 · 높이로 적는 방법.

02장

참 양성 (TP)

true positive

정답 객체와 짝을 이룬 예측. 같은 클래스의 정답과 IoU 가 문턱값 이상이고, 그 정답을 먼저 가져간 예측이 없어야 한다.

03장

크기 불변

scale invariance

두 박스를 같은 비율로 키우거나 줄여도 값이 변하지 않는 성질.

02장

크기별 AP (APS · APM · APL)

AP across scales

정답 객체를 넓이로 나눠 따로 구한 AP: 작은 객체(32² 픽셀 미만), 중간(32² – 96²), 큰 객체(96² 초과).

03장

포함 배제의 원리

inclusion–exclusion principle

두 집합의 크기를 더한 뒤 두 번 센 겹친 부분을 한 번 빼는 셈법.

02장

픽셀 좌표

pixel coordinates

그림 위의 위치를 픽셀 수로 잰 좌표. 원점은 왼쪽 위, y 는 아래로 커진다.

02장

합집합 (박스)

union

두 박스 가운데 하나에라도 들어 있는 부분. 넓이는 두 넓이의 합에서 교집합을 뺀 값.

02장

AP (평균 정밀도)

average precision

PR 곡선 아래 넓이의 근사. COCO 방식은 재현율 0, 0.01, …, 1 의 101개 지점에서 보간 정밀도를 평균한다.

03장

AP50

AP at IoU = 0.50

IoU 문턱값 0.50 하나로만 채점한 AP(클래스 평균). “대충이라도 찾았는가” 를 본다.

03장

AP75

AP at IoU = 0.75

IoU 문턱값 0.75 하나로만 채점한 AP(클래스 평균). 박스가 꽤 정확한지를 본다.

03장

F1 점수

F1 score

정밀도와 재현율의 조화 평균. 점수 문턱값 하나에서의 성능을 한 숫자로 요약한다.

03장

GIoU (일반화한 IoU)

Generalized Intersection over Union

IoU 에서 둘러싸는 박스 안 빈 곳의 비율을 뺀 값. 겹치지 않아도 멀수록 낮아진다.

02장

GIoU 손실

GIoU loss

1 에서 GIoU 를 뺀 손실(0 – 2). 겹치지 않는 박스에도 기울기를 준다.

02장

IoU (교집합 대 합집합 비)

Intersection over Union

두 박스가 덮은 넓이 전체 가운데 함께 덮은 넓이의 비율. 0(안 겹침) – 1(완전히 일치).

02장

IoU 문턱값

IoU threshold

예측 박스가 정답 박스와 얼마나 겹쳐야 맞은 것으로 칠지 정하는 기준. COCO 는 0.50 부터 0.95 까지 열 개를 쓴다.

03장

IoU 손실

IoU loss

1 에서 IoU 를 뺀 손실. 크기 불변이지만 겹치지 않으면 기울기가 0 이다.

02장

L1 거리 (L1 손실)

L1 distance, L1 loss

두 박스의 네 숫자를 하나씩 비교해 차이의 절댓값을 더한 값.

02장

mAP

mean average precision

클래스마다 구한 AP 의 평균. COCO 에서는 AP 와 같은 뜻으로 쓴다.

03장

NMS (비최대 억제)

non-maximum suppression

겹친 예측 박스들 가운데 점수가 가장 높은 것만 남기고 나머지를 지우는 사후 처리.

03장

용어 · 딥러닝 기초와 분류 손실 (04장)

용어

영어

뜻

설명한 장

1×1 합성곱

1×1 convolution, pointwise convolution

커널 크기가 1 인 합성곱. 위치마다 같은 선형 층을 적용하는 것과 같다.

04장

가중치 감쇠

weight decay

스텝마다 가중치를 조금씩 0 쪽으로 당겨 쓸데없이 커지지 않게 하는 것.

04장

경사 하강법

gradient descent

기울기의 반대 방향으로 매개변수를 조금씩 옮겨 손실을 줄이는 방법.

04장

교차 엔트로피

cross-entropy, CE

여러 클래스 가운데 하나를 고르는 분류의 손실. 정답 클래스에 준 확률의 −log.

04장

로그 오즈

log-odds

일어날 확률 ÷ 안 일어날 확률(오즈)에 로그를 씌운 값. 시그모이드의 역함수.

04장

로짓

logit

시그모이드 · 소프트맥스에 들어가기 전의 실수. 확률로 바뀌기 전의 점수.

04장

매개변수

parameter

신경망 안의 조절 가능한 숫자들(가중치와 편향). 한데 묶어 θ 로 쓴다.

04장

미니배치

mini-batch

한 번의 갱신에 쓰는, 데이터에서 무작위로 뽑은 작은 묶음.

04장

배경 클래스

background class, no-object class ∅

“객체 없음” 을 나타내려고 K 개 클래스에 추가한 K + 1 번째 가짜 클래스.

04장

배치 정규화 (BatchNorm)

batch normalization

특징(채널)마다 배치 축으로 평균 · 분산을 구해 평균 0 · 분산 1 로 맞추는 층.

04장

부드러운 목표

soft target

0 이나 1 이 아니라 그 사이의 값으로 준 분류 목표 t.

04장

사전 확률 편향 초기화

prior probability bias initialization

분류 머리의 편향을 b = −log((1 − π)/π) 로 두어 처음 예측이 모두 π 근처가 되게 하는 초기화.

04장

선형 층

linear layer, fully connected layer || h = Wx + b. 벡터에 가중치 행렬을 곱하고 편향을 더하는 층.

04장

소프트맥스

softmax

로짓 K 개를 합이 1 인 확률 K 개로 바꾸는 함수.

04장

손실 함수

loss function

신경망의 출력이 정답에서 얼마나 먼지를 숫자 하나로 잰 것. 작을수록 좋다.

04장

순전파

forward pass

입력에서 손실까지 값을 차례로 계산하는 것.

04장

스트라이드

stride

합성곱에서 커널을 한 번에 몇 칸씩 옮기는가.

04장

시그모이드

sigmoid, logistic function

실수(로짓)를 0 과 1 사이의 확률로 바꾸는 함수 σ(z) = 1/(1 + e^(−z)).

04장

신경망

neural network

매개변수 θ 를 가진 함수 f_θ. 입력을 받아 출력을 내고, 매개변수를 고쳐 가며 학습한다.

04장

에폭

epoch

학습 데이터 전체를 한 바퀴 도는 것.

04장

역전파

backpropagation

손실에서 거꾸로 가며 (받은 기울기) × (국소 미분) 을 넘겨 모든 매개변수의 기울기를 구하는 방법.

04장

연쇄 법칙

chain rule

합성 함수의 미분은 단계마다의 미분을 곱한 것이다.

04장

이진 교차 엔트로피 (BCE)

binary cross-entropy

예 / 아니오 분류의 손실. 정답 쪽에 준 확률의 −log.

04장

잔차 연결

residual connection, skip connection

층의 출력에 입력을 그대로 더하는 것: x + f(x).

04장

전치 합성곱

transposed convolution

특징 맵을 키우는 합성곱. 입력의 숫자마다 커널 크기의 도장을 출력에 찍고 겹친 곳은 더한다.

04장

최대우도 추정

maximum likelihood estimation, MLE

관측한 정답이 나올 확률(가능도)이 가장 커지도록 매개변수를 정하는 원리.

04장

층 정규화 (LayerNorm)

layer normalization

표본(토큰) 하나의 특징들로 평균 · 분산을 구해 정규화하는 층. 배치와 무관하다.

04장

커널

kernel, filter

합성곱에서 입력 위를 미끄러지는 작은 가중치 판.

04장

패딩

padding

합성곱 전에 입력의 가장자리에 덧대는 0 의 줄 수.

04장

포컬 손실

focal loss

잘 맞힌 칸의 손실을 (1 − p_t)^γ 로 깎아 어려운 칸에 집중하게 하는 분류 손실.

04장

학습률

learning rate

한 스텝에 매개변수를 얼마나 움직일지 정하는 수 η.

04장

합성곱

convolution

작은 가중치 판(커널)을 입력 위에서 미끄러뜨리며 자리마다 곱해 더한 값을 내는 층.

04장

활성 함수

activation function

층 사이에 끼워 넣는 비선형 함수. 숫자마다 따로 적용한다.

04장

Adam

adaptive moment estimation

기울기의 이동 평균을 기울기 제곱의 이동 평균의 제곱근으로 나누어, 매개변수마다 갱신 크기를 맞추는 옵티마이저.

04장

AdamW

Adam with decoupled weight decay

가중치 감쇠를 기울기에 섞지 않고 따로 적용하는 Adam.

04장

GELU

Gaussian error linear unit

x·Φ(x). 표준 정규 분포의 누적 분포 함수로 x 를 부드럽게 통과시키는 활성 함수.

04장

MLP (다층 퍼셉트론)

multi-layer perceptron

선형 층과 활성 함수를 번갈아 쌓은 신경망.

04장

ReLU

rectified linear unit

max(0, x). 음수는 0 으로, 양수는 그대로 통과시키는 활성 함수.

04장

SGD (확률적 경사 하강법)

stochastic gradient descent

미니배치의 기울기로 하는 경사 하강법.

04장

SiLU (Swish)

sigmoid linear unit, Swish

x·σ(x). 시그모이드로 x 를 부드럽게 통과시키는 활성 함수.

04장

용어 · 어텐션, ViT, DINOv2 (05 – 06장)

용어

영어

뜻

설명한 장

값 (어텐션)

value

어텐션에서 실제로 건네지는 내용 벡터. 가중치로 평균 내어 출력이 된다.

05장

교차 어텐션

cross-attention

질의는 한 토큰 묶음에서, 열쇠 · 값은 다른 묶음에서 만드는 어텐션.

05장

귀납 편향

inductive bias

모델이 데이터를 보기 전에 구조 자체에 품고 있는 가정.

06장

내적

dot product

두 벡터의 같은 자리 성분끼리 곱해 모두 더한 값. 방향이 비슷하고 길수록 크다.

05장

다중 머리 어텐션

multi-head attention

차원 D 를 머리 h 개로 나눠 머리마다 따로 어텐션한 뒤 이어 붙이는 어텐션.

05장

레지스터 토큰

register tokens

ViT 의 토큰 열에 끼워 넣는 학습되는 여분의 토큰. 전역 정보를 적어 둘 자리를 따로 주어 패치 특징의 튀는 점을 없앤다.

06장

멀티 크롭

multi-crop

한 그림에서 크게 자른 전역 뷰 몇 장과 작게 자른 지역 뷰 여러 장을 함께 만드는 증강.

06장

미세 조정

fine-tuning

사전 학습된 가중치에서 출발해, 목표 과제의 (작은) 데이터로 조금 더 학습하는 것.

06장

밀집 특징

dense features

그림 전체에 하나가 아니라 위치(패치)마다 하나씩 있는 특징.

06장

붕괴

collapse

어떤 그림이 들어와도 모델이 같은 출력을 내는 상태. 손실은 낮지만 아무것도 배우지 못한 것이다.

06장

뷰

view

한 그림을 무작위로 변형(자르기 · 뒤집기 · 색 바꾸기)해 만든 그림 한 장.

06장

사전 학습

pre-training

최종 과제에 앞서, 아주 큰 데이터로 더 일반적인 과제를 풀며 가중치를 학습해 두는 것.

06장

선형 분류기 평가 (linear probe)

linear probe

백본을 얼리고 그 특징 위에 선형 층 하나만 학습해 특징의 품질을 재는 방법.

06장

순열 등변성

permutation equivariance

입력 토큰의 순서를 섞으면 출력도 똑같이 섞일 뿐 값은 변하지 않는 성질.

05장

스케일드 내적 어텐션

scaled dot-product attention

내적 점수를 √d_k 로 나눈 뒤 소프트맥스 · 가중 평균을 하는, Transformer 의 기본 어텐션 식.

05장

어텐션

attention

질의와 열쇠의 비슷함으로 가중치를 정해 값들을 가중 평균하는 연산.

05장

어텐션 가중치

attention weight

질의가 각 열쇠 · 값에 주는 비율. 모두 양수이고 합이 1.

05장

어텐션 마스크

attention mask

(질의, 열쇠) 쌍마다 볼 수 있는지를 정하는 마스크. 모양 (N_q, N_k).

05장

열쇠

key

어텐션에서 “무엇을 갖고 있는가” 를 알리는 벡터. 질의와 내적해 점수가 된다.

05장

열쇠 패딩 마스크

key padding mask

패딩으로 채운 가짜 토큰을 어떤 질의도 보지 못하게 열쇠 쪽에서 가리는 마스크. 모양 (B, N_k).

05장

온도 (소프트맥스의)

temperature

소프트맥스에 넣기 전에 점수를 나누는 양수 τ. 낮을수록 분포가 날카로워진다.

06장

위치 인코딩

positional encoding

토큰에 위치를 알려 주려고 더하는, 사인 · 코사인으로 만든 고정 벡터.

05장

위치 임베딩

position embedding

자리마다 하나씩 둔 학습되는 벡터. 토큰에 더해 “그림의 어디에서 왔는지” 를 알려 준다.

06장

위치 임베딩 보간

position embedding interpolation

학습된 위치 임베딩을 2차원 격자로 되돌려 그림처럼 크기를 바꾼 뒤 다시 펴는 방법.

06장

인과 마스크

causal mask

각 위치가 자기보다 뒤의 토큰을 못 보게 하는 삼각형 모양의 어텐션 마스크.

05장

자기 어텐션

self-attention

질의 · 열쇠 · 값을 모두 같은 토큰 묶음에서 만드는 어텐션. 토큰들이 서로를 본다.

05장

자기 증류

self-distillation

미리 학습된 교사 없이, 학생 자신의 지수 이동 평균을 교사로 삼는 증류.

06장

자기 지도 학습

self-supervised learning, SSL

사람이 붙인 라벨 대신 데이터 자신에서 정답을 만들어 내는 학습.

06장

증류 (지식 증류)

knowledge distillation

학생 망이 정답 라벨 대신 교사 망의 출력 분포를 흉내 내도록 학습하는 기법.

06장

질의

query

어텐션에서 “무엇을 찾는가” 를 나타내는 벡터. 정보를 받는 쪽이 낸다.

05장

토큰

token

어텐션이 다루는 단위인 벡터 하나. 이 튜토리얼에서는 그림 패치 하나 또는 객체 질의 하나.

05장

투영 머리

projection head

자기 지도 학습에서 백본의 출력 위에 얹어 손실을 계산하는 작은 MLP. 사전 학습이 끝나면 버린다.

06장

파운데이션 모델

foundation model

한 번 크게 사전 학습해 두고 여러 과제의 출발점으로 삼는 모델.

06장

패치

patch

그림을 겹치지 않게 자른 p × p 픽셀의 정사각형 조각. ViT 의 토큰 하나가 된다.

06장

패치 임베딩

patch embedding

패치 하나를 펴서 선형 층으로 길이 D 인 토큰으로 바꾼 것. 커널 · 스트라이드가 p 인 합성곱과 같은 계산이다.

06장

centering (중심 빼기)

centering

교사의 점수에서 그 이동 평균(중심 c)을 빼는 것. 모든 그림이 한 칸으로 쏠리는 붕괴를 막는다.

06장

CLS 토큰

class token, [CLS]

토큰 열 맨 앞에 끼워 넣는 학습되는 벡터. 마지막 층에서의 출력을 그림 전체의 요약으로 쓴다.

06장

DINO

self-distillation with no labels

같은 그림의 서로 다른 뷰에 대해 학생의 출력 분포가 EMA 교사의 출력 분포를 따르게 하는 자기 지도 학습 방법.

06장

DINOv2

DINOv2

DINO 와 iBOT 의 손실을 함께 써서 정제한 1억 4,200만 장으로 자기 지도 사전 학습한 ViT. RF-DETR 의 백본.

06장

FFN (순방향 신경망)

feed-forward network

어텐션 뒤에 토큰마다 따로 적용하는 2층 신경망(D → rD → D).

05장

Flash Attention

FlashAttention

N×N 가중치 행렬을 통째로 만들지 않고 덩어리로 나눠 계산하는, 결과는 같은 빠른 어텐션 구현.

05장

iBOT

image BERT pre-training with online tokenizer

학생에게 준 그림의 패치 일부를 가리고, 그 자리의 출력이 교사의 패치 출력을 따르게 하는 패치 수준 자기 증류.

06장

LVD-142M

LVD-142M

DINOv2 의 사전 학습에 쓴, 라벨 없는 그림 1억 4,200만 장의 정제된 데이터셋.

06장

post-norm

post-normalization

잔차를 더한 뒤에 층 정규화를 하는 Transformer 층의 꼴: LN(x + f(x)).

05장

pre-norm

pre-normalization

부품에 넣기 전에 층 정규화를 하는 Transformer 층의 꼴: x + f(LN(x)).

05장

sharpening (날카롭게 하기)

sharpening

교사의 소프트맥스 온도를 낮게 두어 분포를 한쪽으로 쏠리게 하는 것. 균등 분포로의 붕괴를 막는다.

06장

Transformer

Transformer

다중 머리 어텐션과 FFN 을 잔차 연결 · 층 정규화로 감싼 층을 쌓은 신경망 구조.

05장

Vision Transformer (ViT)

Vision Transformer

그림을 패치로 잘라 토큰 열로 만들고, 표준 Transformer 인코더로 처리하는 모델.

06장

용어 · DETR 계보 (07 – 09장)

용어

영어

뜻

설명한 장

2단계 방식

two-stage

특징 맵의 모든 칸이 제안 박스와 점수를 내고, 점수 상위 몇 개를 디코더의 처음 기준 박스로 쓰는 방식.

08장

객체 질의

object query

DETR 디코더에 들어가는 \(N\) 개의 학습되는 벡터. 하나가 예측 슬롯 하나를 맡는다.

07장

기울기 차단

stop-gradient

순전파에서는 값을 그대로 쓰되, 역전파에서는 그 값을 상수로 보고 기울기를 흘려보내지 않는 연산.

08장

기준 박스

reference box

점 대신 박스 \((c_x, c_y, w, h)\) 를 변형 어텐션과 박스 예측의 기준으로 쓴 것.

08장

기준점

reference point

질의 하나가 “이 근처를 보겠다” 고 정한 정규화 좌표 하나. 변형 어텐션의 표본점은 여기에 오프셋을 더한 자리다.

08장

다중 스케일 특징

multi-scale features

해상도가 다른 특징 맵 여러 장을 함께 쓰는 것. 작은 객체는 촘촘한 맵에서, 큰 객체는 거친 맵에서 찾는다.

08장

다층 특징 집계

multi-level feature aggregation

ViT 인코더의 마지막 층뿐 아니라 중간 층들의 특징 맵도 꺼내 한데 모아 프로젝터에 넣는 것.

09장

매칭 비용

matching cost

예측 \(i\) 와 정답 \(j\) 가 얼마나 안 맞는지를 잰 값. DETR 은 클래스 확률 · L1 거리 · GIoU 세 항의 합을 쓴다.

07장

머리 (예측 머리)

head

디코더가 낸 질의 벡터를 최종 예측(클래스 로짓, 박스, 마스크)으로 바꾸는 작은 신경망.

09장

박스 반복 정제

iterative bounding box refinement

디코더 층마다 앞 층이 낸 박스를 기준으로 삼아 조금씩 고쳐 나가는 방식.

08장

박스 재매개변수화

box regression target reparameterization

박스 머리의 출력을 “기준 박스 크기의 몇 배만큼 옮기고 몇 배로 키울까” 로 읽는 박스 예측 방식.

09장

배정

assignment

정답마다 서로 다른 예측을 하나씩 골라 주는 대응 \(\sigma\).

07장

백본

backbone

그림에서 특징을 뽑아내는 신경망의 몸통. 그 출력(특징 맵) 위에 프로젝터 · 디코더 · 머리가 얹힌다.

09장

변형 어텐션

deformable attention

질의마다 기준점 둘레의 표본점 몇 개에서만 값을 읽어 가중 평균하는 어텐션. 오프셋과 가중치를 질의 벡터에서 선형 층으로 예측한다.

08장

병렬 디코딩

parallel decoding

객체 질의 \(N\) 개를 한꺼번에 넣어 \(N\) 개의 예측을 한 번의 순전파로 내는 것.

07장

보조 손실

auxiliary loss

마지막 층뿐 아니라 디코더의 모든 중간 층 출력에도 같은 머리로 예측을 내어 거는 같은 손실.

07장

비용 행렬

cost matrix

예측 \(i\) 를 정답 \(j\) 에 배정할 때의 비용 \(C_{ij}\) 를 모든 쌍에 대해 적은 표. 모양 (예측 수, 정답 수).

07장

섞은 질의 선택

mixed-query selection

질의의 위치(기준 박스)는 그림의 특징 맵에서 점수 상위 칸을 골라 정하고, 내용은 학습되는 임베딩으로 두는 방식.

09장

선형 보간

linear interpolation

두 점 사이의 값을 두 점을 잇는 직선 위의 값으로 정하는 방법. 가까운 쪽에 큰 가중치를 주는 가중 평균이다.

08장

순열 불변

permutation invariance

입력의 순서를 바꾸어도 값이 변하지 않는 성질. 집합 예측의 손실이 가져야 하는 성질.

07장

쌍선형 보간

bilinear interpolation

격자 칸 사이에 있는 점의 값을 둘레 네 칸의 값의 가중 평균으로 읽는 방법.

08장

역시그모이드

inverse sigmoid

시그모이드의 역함수. 0 – 1 의 값을 로짓(실수 전체)으로 되돌린다.

08장

예측 슬롯

prediction slot

DETR 이 두는 고정된 \(N\) 개의 예측 자리. 슬롯 하나가 (클래스 확률, 박스) 한 벌을 낸다.

07장

오프셋

sampling offset

기준점에서 얼마나 떨어진 곳을 읽을지를 나타내는 2차원 벡터. 질의 벡터에서 선형 층으로 예측한다.

08장

윈도 어텐션

window attention

토큰 격자를 겹치지 않는 윈도로 나눠 윈도 안의 토큰끼리만 하는 자기 어텐션. 쌍의 수가 윈도 수만큼 나뉜다.

09장

윈도 우선 배치

window-major feature map organization

토큰을 한 행씩이 아니라 윈도 단위로 늘어놓는 것. 한 윈도가 수열의 연속 구간이 되어 윈도 · 전역 어텐션 사이의 전환이 view 만으로 된다.

09장

이분 매칭

bipartite matching

두 무리(예측과 정답) 사이에서 총비용이 최소가 되게 일대일로 짝을 고르는 문제.

07장

일대일 매칭

one-to-one matching

정답 하나에 예측 하나, 예측 하나에는 정답이 많아야 하나만 짝짓는 것.

07장

전역 어텐션

global attention

모든 토큰이 모든 토큰을 보는 보통의 자기 어텐션. 윈도 어텐션과 구별해 부르는 이름.

09장

제안 박스

region proposal

2단계 방식의 첫 단계에서 특징 맵의 칸 하나가 내는 “여기에 객체가 있다면 이런 박스” 라는 후보.

08장

종단 간

end-to-end

입력에서 최종 답까지를 손으로 만든 중간 단계 없이 한 모델이 내고, 그 답의 손실로 전체를 한 번에 학습하는 방식.

07장

집합 손실

set loss, Hungarian loss

헝가리안 매칭으로 정한 짝에 대해 계산하는 DETR 의 손실: 모든 질의의 분류 손실 + 짝이 있는 질의의 박스 손실.

07장

집합 예측

set prediction

순서가 없는 원소들의 집합을 한 번에 내놓는 문제. DETR 은 탐지를 (클래스, 박스) 의 집합 예측으로 푼다.

07장

탐욕 배정

greedy assignment

정답을 차례로 보며 남은 예측 가운데 그때 가장 싼 것을 주는 배정. 빠르지만 최적이 아닐 수 있다.

07장

특징 레벨

feature level

다중 스케일 특징에서 해상도가 다른 특징 맵 한 장 한 장.

08장

특징 맵

feature map

그림을 격자로 나눈 칸마다 벡터가 하나씩 놓인 텐서. 모양은 (B, C, H, W).

09장

표본점

sampling point

기준점에 오프셋을 더한 자리. 변형 어텐션이 실제로 특징 맵의 값을 읽는 곳.

08장

프로젝터

projector

백본과 디코더 사이를 잇는 합성곱 블록. 백본의 특징 맵(들)을 디코더가 읽을 채널 수 · 해상도의 특징 맵으로 바꾼다.

09장

헝가리안 매칭

Hungarian matching

DETR 계열이 학습 때 예측과 정답을 짝짓는 방법: 매칭 비용 행렬에서 총비용이 최소인 일대일 배정을 구한다.

07장

헝가리안 알고리즘

Hungarian algorithm

배정 문제의 정확한 최적해를 행렬 크기의 세제곱 정도의 시간에 찾는 고전 알고리즘(Kuhn, 1955).

07장

C2f 블록

C2f block

1×1 합성곱 → 채널을 둘로 나눔 → 병목(3×3 합성곱 두 번) n 개를 차례로 → 중간 결과를 전부 이어 붙여 1×1 합성곱으로 합치는 블록.

09장

Deformable DETR

Deformable DETR

DETR 의 어텐션을 변형 어텐션으로 바꿔 수렴을 빠르게 하고 다중 스케일 특징을 쓸 수 있게 한 탐지기(Zhu 외, 2020; ICLR 2021).

08장

DETR

DEtection TRansformer

탐지를 집합 예측으로 보고, 일대일 매칭 손실과 Transformer 인코더 · 디코더로 앵커와 NMS 없이 탐지하는 모델(Carion 외, 2020).

07장

Group DETR

Group DETR

학습 때 질의를 여러 묶음으로 복제해 묶음마다 따로 일대일 매칭을 하는 기법. 양성이 묶음 수만큼 늘고, 추론은 첫 묶음만 쓴다.

09장

IoU 인지 BCE 손실 (IA-BCE)

IoU-aware BCE loss

양성 칸의 목표를 1 이 아니라 점수와 IoU 의 가중 기하 평균 t 로 두는 분류 손실. 점수가 예측 박스의 IoU 로 끌려간다.

09장

LW-DETR

Light-Weight DETR

평범한 ViT 인코더, C2f 프로젝터, 얕은(3층) 변형 어텐션 디코더를 쌓은 실시간 탐지기(Chen 외, 2024). RF-DETR 의 직접적인 바탕.

09장

RT-DETR

Real-Time DEtection TRansformer

CNN 백본 뒤의 인코더를 가볍게 다시 설계해 DETR 계열을 실시간으로 만든 탐지기(Zhao 외, 2023).

09장

용어 · RF-DETR 의 구조와 학습 (10 – 11장)

용어

영어

뜻

설명한 장

2단계 질의 선택

two-stage query selection

프로젝터 출력의 모든 칸에 점수를 매겨 상위 N 칸을 고르고, 그 칸이 낸 박스를 디코더 질의의 기준 박스로 삼는 절차.

10장 · 08장

기울기 누적

gradient accumulation

작은 배치로 순전파 · 역전파를 여러 번 하며 기울기를 더해 두었다가 한 번만 가중치를 고쳐, 메모리는 작은 배치만큼 쓰면서 큰 배치의 기울기를 얻는 방법.

11장

기울기 자르기

gradient clipping

모델 전체 기울기의 노름이 한계를 넘으면 방향은 그대로 두고 길이만 한계로 줄이는 것. DETR 계열과 RF-DETR 은 한계 0.1 을 쓴다.

11장

내용 질의

content query

디코더의 첫 층에 들어가는 질의 벡터의 처음 값. RF-DETR 에서는 그림과 무관하게 학습되는 임베딩 query_feat 이다.

10장

다중 해상도 학습

multi-scale training

학습 중에 입력 그림의 해상도를 무작위로 바꾸는 증강. RF-DETR 은 배치 단위로 한 해상도를 골라 배치 전체를 그 크기로 바꾼다(기본 해상도의 0.5 – 1.5배).

11장

데이터 증강

data augmentation

학습 그림을 뒤집거나 잘라 변형해 보여 주어, 그림 한 장으로 여러 장의 효과를 내는 방법. RF-DETR 은 수평 뒤집기와 무작위 자르기만 쓴다.

11장

드롭 패스

drop path, stochastic depth

학습 중에 잔차 블록의 가지 \(F(x)\) 를 확률 \(q\) 로 통째로 건너뛰는 규제 기법.

11장

마스크 이미지 모델링(MIM)

masked image modeling

그림의 패치 일부를 가리고 보이는 패치만으로 가려진 부분을 맞히게 하는 자기 지도 사전 학습.

11장

스케줄러 없는 학습

scheduler-free training

학습률과 증강을 학습 도중에 바꾸는 일정표를 두지 않는 RF-DETR 의 학습 방식. 학습률은 끝까지 일정하고 워밍업도 없다.

11장

스피어만 상관

Spearman's rank correlation

두 양의 값이 아니라 순위가 얼마나 일치하는지를 −1 과 +1 사이로 재는 상관 계수.

11장

워밍업

warm-up

학습의 맨 처음 얼마 동안 학습률을 0 근처에서 목표값까지 서서히 올리는 장치. RF-DETR 은 쓰지 않는다.

11장

윈도별 CLS 토큰 복제

per-window class token

윈도 어텐션과 DINOv2 의 CLS 토큰이 함께 가도록, CLS 토큰을 윈도 수만큼 복제해 윈도마다 맨 앞에 붙이는 처리.

10장

인코더 제안

encoder proposals

2단계 질의 선택이 고른 칸의 클래스 로짓과 박스. 출력 사전의 enc_outputs 이고 디코더 출력과 같은 손실을 받는다.

10장

지수 이동 평균(EMA)

exponential moving average

값이 바뀔 때마다 옛 평균을 \(d\) 만큼, 새 값을 \(1 - d\) 만큼 섞어 유지하는 평균. RF-DETR 은 학습 중인 가중치의 EMA 를 따로 두고 평가 · 저장에 쓴다.

11장

질의 위치 임베딩

query positional embedding

질의가 맡은 자리와 크기를 알려 주는 벡터. RF-DETR 에서는 기준 박스 네 숫자의 사인 임베딩을 2층 MLP(ref_point_head)에 넣어 만든다.

10장

층별 학습률 감쇠

layer-wise learning rate decay

사전 학습한 백본에서 입력 쪽 블록으로 내려갈수록 학습률에 1 보다 작은 수(RF-DETR 은 0.8)를 거듭 곱해, 얕은 층은 조금만 깊은 층은 많이 고치는 방법.

11장

코사인 스케줄

cosine schedule

학습률을 코사인 곡선의 반 주기를 따라 시작 값에서 마지막 값까지 내리는 학습률 스케줄.

11장

학습률 스케줄러

learning rate scheduler

학습 도중에 학습률을 정해진 규칙에 따라 바꾸는 장치. 보통 뒤로 갈수록 낮춘다.

11장

lite 기준점 정제

lite reference point refinement

디코더의 모든 층이 처음 기준 박스를 그대로 함께 쓰는 방식(공개 설정 lite_refpoint_refine=True). 층마다 기준 박스를 갱신하는 박스 반복 정제와 대비된다.

10장

P4

P4 feature level

한 칸이 원래 그림의 16픽셀쯤에 해당하는 특징 맵 단계의 이름. RF-DETR 에서는 백본 특징의 해상도를 그대로 쓰는 프로젝터 출력(배율 1.0)을 뜻한다.

10장

RF-DETR

RF-DETR

LW-DETR 의 뼈대에 DINOv2 백본을 끼우고 가중치 공유 NAS 를 얹은 실시간 탐지기(Robinson 외, ICLR 2026).

10장

용어 · NAS, 분할, 실전 (12 – 14장)

용어

영어

뜻

설명한 장

가중치 공유

weight sharing

여러 구성이 가중치 한 벌을 함께 쓰도록 학습해, 학습 뒤에는 재학습 없이 구성을 골라 꺼내는 NAS 방식.

12장

격자 탐색

grid search

손잡이마다 값의 목록을 정하고 그 모든 조합을 하나씩 평가하는 탐색.

12장

공간 위치 수

number of spatial locations

토큰 격자의 한 변의 칸 수, 곧 해상도 ÷ 패치 크기.

12장

구조 증강

architecture augmentation

학습하는 동안 구성을 무작위로 바꾸는 것이 데이터 증강처럼 정규화로 작용한다는 RF-DETR 논문의 해석.

12장

깊이별 분리 합성곱

depthwise separable convolution

“이웃을 보는 일”(채널마다 따로 하는 깊이별 합성곱)과 “채널을 섞는 일”(1×1 점별 합성곱)을 나눠서 하는 합성곱.

13장

내보내기

export

학습한 모델을 다른 실행기가 읽을 수 있는 파일(ONNX, TensorRT 엔진 등)로 바꾸는 일.

14장

다이스 계수

Dice coefficient

두 집합이 겹치는 정도. 교집합의 크기를 두 집합 크기의 평균으로 나눈 값.

13장

다이스 손실

Dice loss

다이스 계수를 확률로 계산해 1 에서 뺀 마스크 손실. 객체의 크기와 거의 무관하게 겹친 비율을 벌한다.

13장

마스크

mask

그림과 같은 크기의 격자에 칸마다 0 또는 1 을 적어, 객체 하나가 차지한 픽셀을 나타낸 것.

13장

마스크 AP

mask AP

예측과 정답의 겹침을 박스 IoU 가 아니라 마스크 IoU 로 재서 구한 AP. 인스턴스 분할의 표준 지표.

13장

마스크 IoU

mask IoU

두 마스크의 IoU. 둘 다 1 인 픽셀 수를 하나라도 1 인 픽셀 수로 나눈 값.

13장

부분망

sub-network, sub-net

가중치를 공유하는 큰 신경망에서 구성 하나를 정해 꺼낸 모델.

12장

분할 머리

segmentation head

탐지기의 프로젝터 출력과 디코더 층별 질의 임베딩을 받아 질의마다 마스크 로짓을 내는 가벼운 부품.

13장

손잡이

tunable knob

학습이 끝난 가중치를 그대로 둔 채 값을 바꿔 정확도와 속도를 조절할 수 있는 설정.

12장

실효 배치 크기

effective batch size

가중치를 한 번 갱신할 때 본 그림 수 = batch_size × grad_accum_steps.

14장

양자화

quantization

가중치와 중간 계산값을 더 적은 비트의 수(FP16, INT8)로 바꿔 모델을 작고 빠르게 만드는 일.

14장

의사 라벨

pseudo-label

사람이 아니라 다른 모델이 만들어 준 정답.

13장

의사 역행렬

pseudo-inverse

역행렬이 없는 행렬에 대해, 해가 많으면 가장 짧은 해를, 해가 없으면 가장 덜 틀리는 해를 주는 행렬.

12장

전력 제한

power throttling

GPU 가 전력 · 발열 한도에 닿아 스스로 속도를 낮추는 현상. 지연 시간 측정을 흔든다.

12장

전처리

preprocessing

그림을 모델에 넣기 전의 손질: 0 – 1 로 바꾸고, 모델 해상도로 리사이즈하고, 채널별로 정규화한다.

14장

점 표본 추출

point sampling

마스크 손실과 매칭 비용을 마스크의 모든 칸이 아니라 뽑은 점 몇 개에서만 계산하는 방법.

13장

점진적 축소

progressive shrinking

OFA 의 학습 순서: 가장 큰 신경망을 먼저 학습하고, 작은 부분망을 단계적으로 뽑는 범위에 넣으며 미세 조정한다.

12장

조기 종료

early stopping

검증 지표가 정해진 에폭 수 동안 나아지지 않으면 학습을 일찍 멈추는 것.

14장

처리량

throughput

일정 시간 동안 처리하는 그림의 수(초당 장 수). 클수록 좋다.

12장

체크포인트

checkpoint

학습 도중 · 끝의 가중치(와 학습 상태)를 저장한 파일.

14장

탐색 공간

search space

NAS 가 고를 수 있는 구성 전체의 집합.

12장

파레토 최적 · 파레토 경계

Pareto optimal, Pareto frontier

다른 어떤 모델에게도 지배당하지 않는 모델이 파레토 최적이고, 그런 점들을 이은 선이 파레토 경계(곡선)다.

12장

프로토타입

prototype

모든 객체가 함께 쓰는 바탕 그림. 객체마다의 계수로 가중합하면 그 객체의 마스크 로짓이 된다.

13장

픽셀 임베딩

pixel embedding

마스크 격자의 칸마다 하나씩 있는 길이 \(D\) 의 벡터. 질의 임베딩과 내적하면 그 칸의 마스크 로짓이 된다.

13장

해상도 키우기

upsampling

특징 맵의 칸 수를 늘리는 것. 새 칸의 값은 원래 칸들의 값에서 만들어 낸다.

13장

후처리

postprocessing

모델의 날출력(박스 · 로짓)을 탐지 결과로 바꾸는 손질. RF-DETR 은 시그모이드 뒤 (질의 × 클래스) 쌍 전체에서 상위 K 개를 고른다.

14장

COCO 형식

COCO format

탐지 데이터셋을 images · categories · annotations 세 목록의 JSON 으로 적는 형식. 박스는 픽셀 x, y, w, h.

14장

Detections

supervision.Detections

rfdetr 의 predict 가 돌려주는 탐지 결과 그릇. xyxy(원본 픽셀) · confidence · class_id 를 담는다.

14장

FlexiViT

FlexiViT (Beyer et al., 2023)

학습하는 동안 패치 크기를 무작위로 바꿔, 가중치 한 벌로 여러 패치 크기에서 동작하게 만든 ViT.

12장

FLOPs

floating-point operations

순전파 한 번에 드는 부동소수점 연산의 수. 하드웨어와 무관한 비용의 척도.

12장

FP16 (반정밀도)

half precision, 16-bit floating point

수 하나를 16비트로 적는 부동소수점. FP32 보다 유효 숫자는 적지만 메모리가 절반이고 GPU 에서 빠르다.

14장

MaskDINO

Mask DINO

DETR 계열 탐지기 DINO 에 마스크 가지를 더한 모델. 질의 임베딩과 픽셀 임베딩 맵의 내적으로 마스크를 낸다.

13장

NAS

Neural Architecture Search

신경망의 구조를 사람이 정하지 않고, 후보들의 집합(탐색 공간)에서 탐색으로 찾는 방법.

12장

OFA

Once-for-All

여러 구조를 지원하는 신경망 하나를 학습해 두고 부분망을 재학습 없이 골라 쓰는 가중치 공유 NAS (Cai 외, 2019).

12장

ONNX

Open Neural Network Exchange

신경망을 표준 연산들의 그래프로 적는 파일 형식. 여러 실행기 사이의 공용어.

14장

ONNX Runtime

ONNX Runtime (onnxruntime)

ONNX 그래프를 실행하는 엔진. 실행 제공자를 골라 CPU · GPU 등에서 돌린다.

14장

opset

ONNX operator set version

ONNX 의 표준 연산 목록의 판 번호. rfdetr 1.12.1 의 기본은 17.

14장

PI-resize

pseudo-inverse resize

패치를 리사이즈한 것과 새 커널의 내적이 원래 패치 · 원래 커널의 내적과 같아지도록 패치 임베딩 커널을 바꾸는 변환.

12장

RF-DETR-Seg

RF-DETR-Seg

RF-DETR 탐지기에 가벼운 분할 머리를 얹어 객체마다 클래스 · 박스 · 마스크를 내는 인스턴스 분할 모델.

13장

SAM2

Segment Anything Model 2

가리킨 객체의 마스크를 내는 분할 모델(Ravi 외, 2024). RF-DETR-Seg 의 사전 학습용 의사 라벨을 만드는 데 쓰였다.

13장

TensorRT

NVIDIA TensorRT

NVIDIA 의 추론 최적화 도구. 그래프를 특정 GPU 에 맞는 ‘엔진’ 으로 컴파일한다.

14장

YOLACT

YOLACT

프로토타입 마스크 \(k\) 장과 객체마다의 마스크 계수를 선형 결합해 마스크를 만드는 실시간 인스턴스 분할 모델.

13장

YOLO 형식

YOLO format

그림마다 텍스트 파일 하나에 ‘클래스 cx cy w h’(정규화)를 한 줄씩 적는 데이터셋 형식.

14장

7. 논문 지도: 무엇을 어떤 순서로 읽을까

논문은 처음부터 끝까지 읽기보다 다음 순서로 읽고, 이해가 안 되는 식은 이 튜토리얼의 해당 장으로 돌아와 보라.

  1. 초록과 그림 1
  2. 방법 절의 핵심 식
  3. 실험의 주요 표

arXiv 번호는 이 튜토리얼을 쓰면서 원문을 직접 내려받아 확인한 것만 적었다. 연도는 arXiv 에 처음 올라온 해이다.

읽는 순서

순서

논문

왜 읽나

관련 장

0

Vaswani 외, “Attention Is All You Need” (2017), 1706.03762

어텐션과 Transformer 의 원전

05

1

Carion 외, “End-to-End Object Detection with Transformers” (DETR, 2020), 2005.12872

집합 예측, 헝가리안 매칭, 객체 질의. 읽기 쉽고 뒤의 모든 논문의 출발점

07

2

Zhu 외, “Deformable DETR” (2020), 2010.04159

변형 어텐션, 박스 반복 정제, 2단계 방식

08

3

Dosovitskiy 외, “An Image is Worth 16x16 Words” (ViT, 2020), 2010.11929

그림을 패치 토큰으로 바꿔 Transformer 에 넣기

06

4

Caron 외, “Emerging Properties in Self-Supervised Vision Transformers” (DINO, 2021), 2104.14294 → Zhou 외, “iBOT” (2021), 2111.07832 → Oquab 외, “DINOv2” (2023), 2304.07193

자기 증류 사전 학습과, RF-DETR 의 백본이 된 DINOv2

06

5

Li 외, “Exploring Plain Vision Transformer Backbones for Object Detection” (ViTDet, 2022), 2203.16527

평범한 ViT 를 탐지 백본으로: 윈도 어텐션과 몇 개의 전역 블록

09

6

Chen 외, “Group DETR” (2022), 2207.13085 · Cai 외, “Align-DETR” (2023), 2304.07527 · Lin 외, “DETR Doesn’t Need Multi-Scale or Locality Design” (2023), 2308.01904

LW-DETR 이 가져다 쓴 학습 기법 셋: 질의 묶음, IoU 인지 분류 손실, 박스 재매개변수화

09

7

Zhao 외, “DETRs Beat YOLOs on Real-time Object Detection” (RT-DETR, 2023), 2304.08069

실시간 DETR 의 첫 길: CNN 백본과 가벼운 인코더

09

8

Chen 외, “LW-DETR: A Transformer Replacement to YOLO for Real-Time Detection” (2024), 2406.03459

RF-DETR 의 바탕. ViT 인코더 + 프로젝터 + 얕은 디코더

09

9

Cai 외, “Once-for-All: Train One Network and Specialize it for Efficient Deployment” (OFA, 2019), 1908.09791 · Beyer 외, “FlexiViT: One Model for All Patch Sizes” (2022), 2212.08013

가중치 공유 NAS 의 생각과, 패치 크기를 바꿔 쓰는 방법

12

10

Robinson 외, “RF-DETR: Neural Architecture Search for Real-Time Detection Transformers” (2025, ICLR 2026), 2511.09554

이 튜토리얼의 주인공. 본문 3 – 4절과 부록 A(학습 설정) · K(지연 시간 측정) · L(찾은 구조의 경향)

01 · 10 – 13

11

Bolya 외, “YOLACT” (2019), 1904.02689 · Cheng 외, “Mask2Former” (2021), 2112.01527 · Li 외, “Mask DINO” (2022), 2206.02777

프로토타입 마스크, 점 표본 추출, 질의와 픽셀 임베딩의 내적으로 만드는 마스크

13

+

Rezatofighi 외, “Generalized Intersection over Union” (2019), 1902.09630 · Lin 외, “Focal Loss for Dense Object Detection” (2017), 1708.02002 · Milletari 외, “V-Net” (2016), 1606.04797

손실 함수의 원전: GIoU, 포컬 손실, 다이스 손실

02 · 04 · 13

+

Lin 외, “Microsoft COCO” (2014), 1405.0312 · Robicheaux 외, “Roboflow100-VL” (2025), 2505.20612

벤치마크: COCO 와, 데이터셋 100개짜리 RF100-VL

01 · 03

+

Peng 외, “D-FINE” (2024), 2410.13842 · Liu 외, “Grounding DINO” (2023), 2303.05499

RF-DETR 논문이 견줄 상대로 삼은 실시간 탐지기와 열린 어휘 탐지기

01

+

Girshick 외, “R-CNN” (2013), 1311.2524 · Ren 외, “Faster R-CNN” (2015), 1506.01497 · Redmon 외, “You Only Look Once” (2015), 1506.02640 · Liu 외, “SSD” (2015), 1512.02325 · He 외, “Mask R-CNN” (2017), 1703.06870

DETR 이전의 2단계 · 1단계 탐지기. 앵커와 NMS 가 어디서 왔는지 알고 싶을 때

01

RF-DETR 의 부품은 어디서 왔나

계보를 부품 쪽에서 다시 보면 RF-DETR 은 여러 논문의 생각을 조립한 것이다. 본문에서 다룬 것만 적었다.

부품

출처

RF-DETR 에서의 모습

장

집합 예측 · 헝가리안 매칭 · 객체 질의 · 보조 손실

DETR (2020)

그대로. 보조 손실은 디코더 층을 추론 때 떼어 낼 수 있게 하는 근거가 된다

07

변형 교차 어텐션 · 2단계 질의 선택

Deformable DETR (2020)

디코더의 교차 어텐션(특징 레벨 1개, 표본점 2개), 인코더 제안에서 기준 박스 고르기

08 · 10

윈도 어텐션 + 전역 블록

ViTDet (2022) → LW-DETR (2024)

DINOv2 백본에 윈도 블록을 넣고 윈도 우선 배치로 구현

09 · 10

질의 묶음

Group DETR (2022)

학습 때 묶음 13개, 추론 때 첫 묶음만

09

섞은 질의 선택

탐지기 DINO (Zhang 외, 2022)

내용 질의는 학습되는 임베딩, 기준 박스는 그림에서 고른 제안

09 · 10

IoU 인지 BCE 손실

Align-DETR (2023)

분류 손실의 기본값

09 · 11

박스 재매개변수화

“DETR Doesn’t Need Multi-Scale or Locality Design” (2023)

박스를 시그모이드 없이, 기준 박스의 크기를 단위로 예측

09 · 10

C2f 프로젝터, 얕은 디코더, 다층 특징 집계

LW-DETR (2024)

프로젝터의 배치 정규화를 층 정규화로 바꿈

09 · 10

사전 학습 백본

DINOv2 (2023)

LW-DETR 의 CAEv2 백본을 대신함

06 · 10

가중치 공유 NAS

OFA (2019)

스텝마다 구성 하나를 균등하게 뽑아 학습, 끝난 뒤 격자 탐색

12

패치 크기 바꾸기

FlexiViT (2022)

패치 임베딩 커널을 PI-resize 로 변환

12

분할 머리

MaskDINO (2022), 해석은 YOLACT (2019)

질의 쪽 벡터와 픽셀 임베딩의 내적. 다중 스케일 백본 특징은 쓰지 않음

13

참고 · 번호를 적지 않은 논문
탐지기 DINO(Zhang 외, 2022)와 SAM2(Ravi 외, 2024)는 본문에 이름이 나오지만, 이 튜토리얼을 쓰면서 원문을 직접 확인하지 않았으므로 arXiv 번호를 적지 않았다. 이름으로 검색해 찾으라. 탐지기 DINO 는 6장의 자기 지도 학습 방법 DINO · DINOv2 와 이름만 같은 다른 연구다.

8. 공개 구현 · 도구

이 튜토리얼의 작은 구현으로 원리를 익힌 뒤, 실제 과제에는 검증된 공개 구현에서 출발하는 것이 좋다.

구현

내용

roboflow/rf-detr

RF-DETR 공식 구현이자 rfdetr 패키지의 저장소. 14장에서 쓴 것. 라이선스는 모델 크기마다 다르므로 README 를 직접 확인한다

roboflow/supervision

predict() 가 돌려주는 Detections 와 그리기 도구

Atten4Vis/LW-DETR

LW-DETR 공식 구현. RF-DETR 의 코드가 여기서 갈라져 나왔다

fundamentalvision/Deformable-DETR

Deformable DETR 공식 구현. 변형 어텐션 모듈의 원본

facebookresearch/detr

DETR 공식 구현. 매칭 · 손실 코드가 짧아 읽기 좋다

lyuwenyu/RT-DETR

RT-DETR 공식 구현

facebookresearch/dinov2

DINOv2 의 코드와 사전 학습 가중치

cocodataset/cocoapi

COCO 의 공식 채점 도구(pycocotools). 3장의 채점기가 따른 정의의 원본

ONNX Runtime

내보낸 ONNX 모델을 돌리는 실행기. 14장에서 CPU 제공자로 썼다

팁 · 이 튜토리얼의 코드에서 공식 코드로 건너갈 때
미니 구현의 이름은 공식 구현을 따랐다. 대응은 다음과 같다(파일 경로는 rfdetr 패키지의 models/ 아래).
  • 매칭: 7 · 11장의 헝가리안 매칭 ↔ matcher.py
  • 손실: 11장의 RFDETRCriterion ↔ criterion.py
  • 변형 어텐션: 8장의 모듈 ↔ ops/modules/ms_deform_attn.py
  • 윈도를 넣은 백본: 9 · 10장 ↔ backbone/dinov2_with_windowed_attn.py
  • 프로젝터: 9 · 10장의 C2f ↔ backbone/projector.py
  • 질의 선택과 디코더: 10장 ↔ transformer.py, lwdetr.py
  • 분할 머리: 13장 ↔ heads/segmentation.py

9. 자주 묻는 질문

Q. GPU 없이도 끝까지 따라갈 수 있는가?
실습 파일마다 --quick 인자가 있어 CPU 로도 축소판이 돈다. 코드가 도는 것을 먼저 그렇게 확인하라. 본문의 수치를 낸 본 실행은 8GB 노트북 GPU 한 장에서 돌린 것이고, 장마다 실제로 걸린 시간을 적어 두었다(예: 14장의 Nano 미세 조정 5 에폭이 18.2분, GPU 메모리 최대 1.61 GiB). GPU 가 없다면 본 실행은 무료 클라우드 노트북에서 돌리거나, 에폭 수를 줄여 경향만 보라.
Q. 도형 세상에서 AP 0.93 이 나왔는데, COCO 48.0 AP 인 RF-DETR Nano 보다 좋은 모델인가?
아니다. AP 는 같은 데이터셋 · 같은 채점 방식 안에서만 견줄 수 있다(3장). 도형 세상은 클래스가 3개이고 배경이 깨끗하며 그림마다 객체가 1 – 4개뿐인 쉬운 문제다. 실제로 14장에서 진짜 Nano 를 도형 세상에 미세 조정하면 5 에폭 만에 시험 AP 0.983 이 나온다.
Q. DETR 계열은 왜 NMS 가 필요 없는가? 질의 300개 가운데 대부분이 헛예측인데 괜찮은가?
학습 때 일대일 매칭을 하기 때문이다. 한 객체를 두 질의가 가리키면 하나는 반드시 “객체 없음” 쪽으로 벌을 받고, 질의들은 디코더의 자기 어텐션으로 서로를 보며 조율한다(7장). 그리고 짝이 없는 질의에 낮은 점수만 붙어 있으면 AP 는 전혀 깎이지 않는다. 낮은 점수의 헛예측은 순위의 맨 뒤에 서기 때문이다(3장). 다만 “중복이 0” 은 아니다. 7장의 미니 DETR 에서도 마지막 층에 겹치는 쌍이 45개 있었다. NMS 를 걸어도 얻을 것이 없을 만큼 드물다는 뜻이다.
Q. 논문과 README 의 수치가 조금 다르다. 어느 쪽이 맞는가?
둘 다 출처가 있는 값이다. 논문 표 2 는 Nano 48.0 AP · Small 52.9 AP 이고, 이 튜토리얼이 확인한 시점의 README 표는 48.4 · 53.0 이다. 모델이 갱신되었을 수 있으므로 둘을 섞지 말고 출처를 밝혀 쓰라(1장). 논문 안에서도 표 5 의 마지막 줄(54.6)과 표 2 의 Medium(54.7)이 0.1 다르고, 논문은 까닭을 밝히지 않는다.
Q. 논문의 설명과 공개 코드의 동작이 다르면 무엇을 믿어야 하는가?
공개된 가중치로 추론하거나 미세 조정한다면 코드의 동작이다. 그 가중치가 그 코드로 학습되었기 때문이다. 본문에서 만난 예는 다음과 같다.
  • 윈도 블록의 번호: 논문 부록 A 의 표기와 공개 코드의 규칙이 다르다(10장).
  • IA-BCE: 논문의 식과 공식 구현을 한 줄씩 맞춰 보면 같은 계산이다(9장).
  • DETR 의 분류 손실 정규화: 논문의 식과 F.cross_entropy 의 분모가 다르다(7장).
Q. 미니 실험에서 효과가 보이지 않은 기법(Group DETR, 윈도 수, 포컬 손실)은 쓸모없는 건가?
아니다. 질의 12개 · 객체 1 – 4개의 도형 세상과 질의 300개 · 객체 수십 개의 COCO 는 다른 상황이다. LW-DETR 논문은 COCO 에서 Group DETR 로 +3.0 mAP 를 보고했다(9장). 미니 실험의 쓸모는 원리를 손으로 확인하는 데 있고, 어떤 기법의 값어치를 판정하는 데 있지 않다. 거꾸로, 논문의 효과가 내 데이터에서도 그대로 나오리라고 믿는 것도 위험하다. 내 데이터에서 절제해 보는 수밖에 없다(11장).
Q. 어떤 크기의 모델을 골라야 하는가?
표의 지연 시간은 T4 · TensorRT · FP16 의 값이므로, 쓸 장비에서 쓸 실행기로 직접 재야 한다(12장, 14장). 순서는 대략 이렇다.
  1. 지연 시간 예산을 정한다(예: 초당 30장이면 한 장에 33 ms 안쪽, 전처리 · 후처리까지 넣어서).
  2. 후보 크기 두세 개를 내 장비에서 같은 방법으로 잰다.
  3. 예산에 드는 것 가운데 내 데이터의 검증 AP 가 가장 높은 것을 고른다.
  4. 객체가 작으면 모델 크기보다 해상도를 먼저 올려 본다(해상도는 patch_size × num_windows 의 배수).
Q. 내 데이터가 적은데 미세 조정이 될까?
14장의 실험에서는 그림 1,000장으로, 사전 학습 가중치에서 시작한 Nano 가 첫 에폭에 검증 AP 0.95 에 이르렀다. 같은 조건의 무작위 초기화는 3 에폭에 0.77 이었다. 적은 데이터에서의 힘은 사전 학습에서 온다. 다만 이것은 쉬운 데이터에서의 한 번의 실험이다. 내 데이터에서 얼마가 필요한지는 검증 세트를 따로 떼어 두고 직접 재야 한다.
Q. 가중치 공유 NAS 를 내가 직접 돌려야 하는가?
보통은 아니다. 공개된 Nano – Large 등은 논문의 탐색이 COCO 에서 찾아 둔 구성이다. 그 가운데 하나를 골라 미세 조정하면 된다. 추론 때 디코더 층 수나 질의 수를 줄여 보는 것은 재학습 없이 할 수 있다(12장). 논문은 그 탐색에 약 10,000 GPU 시간이 들었다고 추정한다.

10. 다음에 해 볼 것

읽은 것을 자기 것으로 만드는 가장 좋은 방법은 직접 바꿔 보는 것이다. 본문이 “해 보지 않았다” 고 적어 둔 것들을 중심으로, 난이도 순으로 골랐다.

난이도

프로젝트

배우는 것

★☆☆

2장의 박스 맞추기 실험에서 학습률과 계수를 바꿔, 합친 손실이 빨랐던 까닭이 계수임을 직접 확인하기

손실의 계수와 학습률의 관계

★☆☆

3장의 채점기에 내가 만든 가짜 예측(일부러 점수를 뒤섞은 것, 중복을 넣은 것)을 넣고 AP 를 미리 짐작해 보기

AP 가 무엇에 반응하는지에 대한 감각

★☆☆

14장을 따라 내 그림 수십 – 수백 장을 COCO 형식으로 만들어 Nano 를 미세 조정하기

데이터 준비에서 추론까지의 전체 흐름

★★☆

8장의 절제 실험을 시드 세 개로 다시 돌려, 다중 스케일과 인코더의 차이가 정말 우연 범위인지 확인하기

절제 실험의 눈금 재기

★★☆

11장의 본 실험을 무작위 백본 + 일정한 학습률로 다시 돌리기(본문은 4,000장 · 60 에폭에서 재어 보지 않았다)

층별 학습률 감쇠가 무엇을 전제로 한 장치인지

★★☆

11장의 포컬 손실 절제를 계수 2 로 다시 하기(본문은 계수 1 로만 했다)

손실의 종류와 크기를 갈라 보기

★★☆

도형 세상을 어렵게 만들기: 객체를 더 많이, 더 작게, 질의를 더 많이. 그 뒤 Group DETR 절제를 다시 하기

기법의 효과가 데이터와 규모에 따라 달라지는 모습

★★☆

12장에서 해상도만 바꾸고 패치 · 윈도는 고정한 대조 학습을 더해, NAS 학습의 이득 가운데 다중 해상도 증강의 몫을 가르기

대조군을 세우는 법

★★☆

12장의 탐색에서 고른 구성을 시험 세트에서 다시 채점해, 검증 세트로 고른 값이 얼마나 낙관적인지 보기

모델 선택과 과적합

★★★

13장의 분할 모델을 체크포인트 없이 처음부터 학습해, 매칭 비용의 마스크 항이 그때는 차이를 만드는지 보기

탐지와 분할을 함께 학습할 때의 상호작용

★★★

14장에서 내보낸 ONNX 로 TensorRT FP16 엔진을 만들어, 같은 엔진으로 지연 시간과 AP 를 함께 재기(이 튜토리얼은 엔진을 만들어 보지 않았다)

논문의 측정 절차, 같은 산출물로 보고하기

★★★

미니 RF-DETR 의 백본을 6장의 미니 DINO 로 사전 학습해, 11장의 마스크 이미지 모델링 사전 학습과 견주기

사전 학습 방법에 따른 차이, 실험 설계

확인 문제

1. 192×192 그림의 COCO 주석에 "bbox": [48, 24, 96, 48] 이 있다. 이 튜토리얼의 정규화 중심 표현 \((c_x, c_y, w, h)\) 로 바꾸라. 이것을 실수로 중심 표현의 픽셀 값으로 읽으면 박스가 어디로 가는가?
COCO 의 앞 두 숫자는 왼쪽 위 모서리다. \(c_x = (48 + 96/2)/192 = 96/192 = 0.5\), \(c_y = (24 + 48/2)/192 = 48/192 = 0.25\), \(w = 96/192 = 0.5\), \(h = 48/192 = 0.25\). 중심으로 잘못 읽으면 중심이 \((48, 24)\) 픽셀이 되어, 박스가 왼쪽 위로 너비 · 높이의 절반(48, 24 픽셀)만큼 밀린다. 왼쪽 끝이 \(48 - 48 = 0\), 위쪽 끝이 \(24 - 24 = 0\) 이 되어 그림의 구석에 붙는다.
2. 그림 한 장에 분류 칸이 144개, 그 가운데 양성이 2개이다. 손실은 BCE 의 합을 양성 수로 나눈 값이다. 분류 머리의 편향이 0 일 때(모든 칸의 확률 0.5)와 사전 확률 \(\pi = 0.01\) 에 맞춰 초기화했을 때의 첫 손실을 각각 계산하라. 학습 로그의 첫 손실이 50 근처라면 무엇을 의심해야 하는가?
  1. 편향이 0 일 때: 모든 칸의 손실이 \(-\log 0.5 = 0.6931\) 이므로 \(144 \times 0.6931 / 2 = 49.9\).
  2. 사전 확률에 맞췄을 때: 양성 칸은 \(-\log 0.01 = 4.6052\), 음성 칸은 \(-\log 0.99 = 0.01005\) 이므로 \((2 \times 4.6052 + 142 \times 0.01005)/2 = (9.2104 + 1.4271)/2 = 5.32\).
첫 손실이 50 근처라면 사전 확률 편향 초기화가 빠진 것이다. 처음 수십 스텝을 “거의 모든 칸이 음성” 이라는 사실을 배우는 데 쓰게 된다.
3. EMA 의 감쇠가 \(d = 0.993\), 워밍업 상수가 \(\tau = 100\) 이다. 100번째 스텝의 실효 감쇠 \(d_n = d\,(1 - e^{-n/\tau})\) 를 계산하라. 워밍업이 끝난 뒤 EMA 는 최근 약 몇 스텝의 평균인가?
\(1 - e^{-1} = 1 - 0.3679 = 0.6321\) 이므로 \(d_{100} = 0.993 \times 0.6321 = 0.628\). 새 가중치를 37% 쯤 받아들이므로 아직 빠르게 따라간다. 워밍업이 끝나면 최근 약 \(1/(1 - d) = 1/0.007 \approx 143\) 스텝의 평균이다.
4. rfdetr 로 미세 조정하는데 cardinality_error 가 학습 내내 36 근처에 머문다. 데이터의 그림당 객체 수는 평균 3.0개이다. 고장인가?
고장이 아니다. 학습 때는 질의 묶음 13개가 함께 돌고, 묶음마다 객체 하나에 예측 하나씩을 낸다. 점수가 0.5 를 넘는 질의가 약 13 × 3.0 = 39개이고 정답은 3.0개이므로 차이는 12 × 3.0 = 36 이다. Group DETR 이 실제로 돌고 있다는 표시다(14장에서는 그림당 2.44개여서 29.3 이었다). 추론 때는 첫 묶음만 쓰므로 이 값과 무관하다.
5. 내 데이터로 학습한 탐지기의 검증 결과가 AP50 0.97, AP75 0.35, AP 0.48 이다. 그림에 예측을 그려 보면 객체는 거의 다 찾았다. 무엇이 문제이고, 무엇부터 확인할까?
객체는 찾았지만 박스가 헐거운 것이다. 3장의 실험에서 평균 IoU 가 0.72 쯤인 박스들이 이런 모양의 숫자(AP50 0.971, AP75 0.170, AP 0.377)를 냈다. 확인할 순서는 다음과 같다.
  1. 정답 박스 자체가 헐겁게 붙어 있지 않은지(주석의 품질)
  2. 박스 표현 · 좌표 변환에 반 픽셀 · 반 칸의 어긋남이 없는지
  3. 박스 손실(L1 · GIoU)이 아직 내려가는 중인지
  4. 점수의 순서가 박스의 품질을 따르는지(3장의 실험에서 같은 박스라도 점수 순서에 따라 AP75 가 0.153 에서 0.393 까지 달라졌다)
6. 동료가 “모델 A 는 논문 표에서 4.4 ms, 모델 B 는 내 노트북에서 재 보니 15 ms 였으니 A 가 세 배 넘게 빠르다” 고 한다. 이 비교에서 빠진 것을 네 가지 적어 보라.
지연 시간은 같은 조건에서 잰 것끼리만 견줄 수 있다. 빠진 것은 다음 네 가지이다.
  1. 하드웨어: 논문은 T4, 동료는 노트북
  2. 실행기: TensorRT 엔진과 일반 PyTorch 모듈
  3. 정밀도: FP16 과 FP32
  4. 잰 범위: 순전파만인지, 전처리 · 후처리까지인지
그 밖에 예열을 버렸는지, GPU 연산이 끝나기를 기다렸는지, 여러 번 재서 중앙값을 썼는지, 기계가 다른 일을 하고 있지 않았는지도 확인해야 한다. 두 모델을 같은 기계에서 같은 방법으로 번갈아 재야 비교가 된다.

튜토리얼을 마치며

1장에서 객체 탐지를 “그림 속 객체마다 어디에 있는지(박스)와 무엇인지(클래스)를 함께 답하는 문제” 라고 정의했다. 그 한 문장에서 출발해 박스와 IoU, AP, 어텐션, ViT 와 DINOv2 를 쌓고, DETR 의 집합 예측에서 Deformable DETR 과 LW-DETR 을 거쳐 RF-DETR 의 구조 · 학습 · NAS · 분할까지 직접 만들고, 마지막에는 진짜 RF-DETR 을 내 데이터에 맞춰 내보냈다. 그 길에서 되풀이해 확인한 것은 세 가지이다. 무엇을 예측하고 무엇과 짝지을 것인가, 어디를 볼 것인가, 그리고 그것을 얼마나 빨리 할 것인가. 탐지기들은 이 세 물음에 대한 서로 다른 답이었다. 이제 여러분은 그 답들을 식으로 읽고, 코드로 확인하고, 숫자를 의심하며 직접 재 볼 수 있다.

See also

Favorite site

author MCPBot sitemap