콘텐츠로 이동
Search

RF-DETR:Tutorial:01-WhatIsRFDETR

lastmod 2026-11-18created 2026-11-182 edits

RF-DETR 이란 무엇인가는 RF-DETR 튜토리얼의 1장이다. 그림 속에서 "어디에 무엇이 있는지" 를 답하는 객체 탐지가 정확히 무엇을 묻는 문제인지에서 시작해, 탐지기가 지난 십여 년 동안 2단계 탐지기 → 1단계 탐지기 → DETR → 실시간 DETR 로 어떻게 바뀌어 왔는지, 그리고 2025년에 나온 RF-DETR 이 그 흐름의 어디에 서서 무엇을 왜 바꿨는지를 수식 없이 큰 그림으로 잡는다. 숫자 계산은 나눗셈 몇 번이 전부이고, 여기서 이름만 붙여 둔 개념(IoU, AP, 어텐션, 헝가리안 매칭, 변형 어텐션, 가중치 공유 NAS)은 2장부터 하나씩 손계산과 코드로 채워진다.

그림 속에서 물체 찾기: 객체 탐지

자율주행차의 카메라는 앞에 보행자가 있는지, 있다면 어디에 있는지를 알아야 한다. 공장의 검사 장비는 기판 위의 불량 납땜이 몇 군데인지 세어야 하고, 계산대 없는 매장의 카메라는 손님이 집어 든 물건이 무엇인지 알아야 한다. 세 경우 모두 "이 그림은 무엇의 사진인가" 라는 한 줄짜리 답으로는 모자란다. 그림 안에 있는 물체 하나하나에 대해 무엇이, 어디에 있는지를 답해야 한다.

이 문제를 객체 탐지(object detection)라고 하고, 이 문제를 푸는 모델을 탐지기(detector)라고 부른다. "객체(object)" 는 그림 속에서 따로 셀 수 있는 물체 하나를 말한다.

핵심
객체 탐지는 그림 한 장을 받아, 그 안의 객체마다 "어디에 있는가(박스)" 와 "무엇인가(클래스)" 를 함께 답하는 문제다. 객체가 몇 개인지는 미리 알려 주지 않으며, 그것까지 탐지기가 알아내야 한다.

이 튜토리얼의 무대: 도형 세상

실제 사진은 너무 복잡해서 원리를 손으로 따라가기 어렵다. 그래서 튜토리얼은 처음부터 끝까지 도형 세상(Shape World) 이라는 작은 무대를 쓴다. 96×96 픽셀의 어두운 그림 위에 원 · 사각형 · 삼각형이 1 – 4개 놓여 있고, 위치 · 크기 · 색은 그림마다 무작위다(만드는 코드는 0장에서 소개한 rf_shapes.py).

  • 그림: 그림 1-1. 도형 세상의 그림 여덟 장과 정답 - 어두운 배경 위에 원 · 사각형 · 삼각형이 한 개에서 네 개 놓여 있고, 도형마다 초록색 정답 박스와 그 위에 영어 클래스 이름(circle 원, rectangle 사각형, triangle 삼각형)이 붙어 있다.

이 그림에서 눈여겨볼 것은 세 가지다.

  • 객체 수가 그림마다 다르다. 왼쪽부터 4, 3, 4, 3, 2, 3, 2, 4개다.
  • 크기와 위치가 제각각이다. 같은 원이라도 두 번째 그림의 큰 원과 작은 원은 지름이 두 배 차이 난다.
  • 서로 살짝 겹치기도 한다. 첫 번째 · 여덟 번째 그림처럼 도형이 다른 도형을 일부 가린다.

도형 세상은 장난감처럼 보이지만 실제 객체 탐지의 어려움을 그대로 가지고 있다. 14장까지 이 무대에서 탐지기를 처음부터 만들어 보고, 14장에서 진짜 사진과 진짜 RF-DETR 로 넘어간다.

분류, 탐지, 인스턴스 분할

그림을 이해하는 문제는 "얼마나 자세히 답해야 하는가" 에 따라 여러 단계로 나뉜다. 원문 그림 1-2 는 그림 1-1 의 두 번째 그림(삼각형 하나, 원 둘)을 예로 세 문제를 나란히 놓는다. 왼쪽(이미지 분류)은 그림 전체에 "원, 삼각형이 있다" 는 이름표를 붙이고, 가운데(객체 탐지)는 객체마다 사각형을 하나씩 쳐서 박스 3개와 클래스를 내고, 오른쪽(인스턴스 분할)은 객체마다 픽셀을 다른 색으로 칠해 두 원을 "원 1", "원 2" 로 구별한다. 왼쪽에서 오른쪽으로 갈수록 답이 자세해지며, 가운데가 이 튜토리얼의 주제이고 오른쪽은 13장에서 다룬다.

  • 이미지 분류(image classification): 그림 전체에 이름표를 붙인다. "이 그림에는 원과 삼각형이 있다." 어디에 있는지, 몇 개인지는 답하지 않는다. 원이 둘이라는 사실은 답에 드러나지 않는다.
  • 객체 탐지: 객체 하나하나에 대해, 그 객체를 꼭 맞게 둘러싸는 사각형과 종류를 답한다. 이 사각형을 박스(경계 상자, bounding box)라고 한다(2장에서 자세히). 원이 둘이면 박스도 둘이다.
  • 인스턴스 분할(instance segmentation): 박스 대신, 객체마다 그 객체가 차지하는 픽셀을 정확히 칠한다. 이렇게 칠한 영역을 마스크라고 한다. "인스턴스(instance)" 는 같은 종류 안에서의 낱낱의 개체를 뜻한다. 그림의 두 원은 종류는 같지만 서로 다른 인스턴스이므로 따로 칠해야 한다(13장에서 자세히).

여기서 "종류" 를 클래스(class)라고 부른다. 탐지기가 구별할 클래스의 목록은 학습 전에 정해 둔다. 도형 세상의 클래스는 원(0번) · 사각형(1번) · 삼각형(2번) 세 가지이고, 뒤에서 볼 COCO 라는 데이터셋은 사람 · 자동차 · 개 같은 80가지다.

문제

무엇을 답하나

그림 1-2 의 답

답의 개수

이미지 분류

그림 전체의 클래스

원, 삼각형

클래스 수만큼 고정(있다 / 없다)

객체 탐지

객체마다 박스 + 클래스

삼각형 박스 1개, 원 박스 2개

그림마다 다름

인스턴스 분할

객체마다 마스크 + 클래스

삼각형 마스크 1개, 원 마스크 2개

그림마다 다름

박스는 마스크보다 거칠다. 삼각형을 둘러싼 박스 안에는 삼각형이 아닌 픽셀이 절반쯤 들어 있다. 그래도 박스는 숫자 네 개로 적을 수 있어서 다루기 쉽고, "거기에 무엇이 있다" 는 정보로는 대부분의 응용에 충분하다. 그래서 객체 탐지는 컴퓨터 비전에서 가장 널리 쓰이는 문제 가운데 하나다.

입력과 출력: 탐지기는 집합을 내놓는다

탐지기에 무엇이 들어가고 무엇이 나오는지 정확히 적어 보면 다음과 같다.

  • 입력: 그림 한 장. 컴퓨터에게 그림은 숫자 배열이다. 도형 세상의 그림은 빨강 · 초록 · 파랑 세 장이 겹친 96×96 배열, 곧 모양 (3, 96, 96) 의 숫자 27,648개다.
  • 출력: 예측의 집합. 예측 하나는 (박스, 클래스, 점수) 세 가지로 이루어진다.

기호로 쓰면 다음과 같다. 이 장에서 쓰는 거의 유일한 식이다.

\(\text{출력} = \{(b_1, c_1, s_1),\; (b_2, c_2, s_2),\; \dots,\; (b_N, c_N, s_N)\}\)

  • 중괄호 \(\{\;\}\) 는 집합을 뜻한다. 집합은 원소를 늘어놓는 순서에 뜻이 없다. 원을 먼저 적든 삼각형을 먼저 적든 같은 답이다.
  • \(N\) 은 예측의 개수이고, 아래 첨자 \(i\) 는 "\(i\) 번째 예측" 이라는 번호표다(\(i = 1, 2, \dots, N\)).
  • \(b_i\) 는 \(i\) 번째 예측의 박스다(box 의 b). 숫자 네 개 \(b_i = (c_x, c_y, w, h)\) 로 적는데, \(c_x, c_y\) 는 박스 중심의 가로 · 세로 좌표, \(w\) 는 너비, \(h\) 는 높이다. 튜토리얼에서는 네 숫자를 모두 그림 크기로 나누어 0 에서 1 사이의 값으로 적는다(정규화). 왜 이렇게 적는지는 2장에서 다룬다.
  • \(c_i\) 는 클래스 번호다(class 의 c). 도형 세상에서는 0(원), 1(사각형), 2(삼각형) 가운데 하나다.
  • \(s_i\) 는 점수다(score 의 s). "이 예측이 맞다고 탐지기가 얼마나 확신하는가" 를 0 에서 1 사이의 수로 나타낸 것으로 신뢰도(confidence)라고도 부르며, 1 에 가까울수록 확신이 크다.

그림 1-2 의 그림(그림 1-1 의 두 번째)에 대한 정답은 다음 세 줄이다. rf_shapes.py 가 만든 실제 값을 소수 둘째 자리까지 반올림했다.

객체

클래스

박스 \((c_x, c_y, w, h)\)

읽기

삼각형

2

(0.80, 0.24, 0.30, 0.36)

오른쪽 위. 너비는 그림의 30%, 높이는 36%

큰 원

0

(0.20, 0.64, 0.36, 0.36)

왼쪽 아래. 원이므로 너비 = 높이

작은 원

0

(0.56, 0.35, 0.18, 0.18)

가운데 위쪽. 큰 원의 절반 크기

정규화한 값에 그림 크기 96 을 곱하면 픽셀 단위가 된다. 큰 원의 너비는 \(0.36 \times 96 \approx 35\) 픽셀, 중심의 가로 좌표는 \(0.20 \times 96 \approx 19\) 픽셀이다. 그림 1-1 의 두 번째 그림에서 큰 원이 왼쪽 가장자리에 거의 붙어 있는 것과 맞는다(중심 19 − 반지름 약 17.5 ≈ 왼쪽 끝에서 2픽셀 안쪽).

정답에는 점수가 없다. 정답은 확신하고 말고 할 것이 없기 때문이다. 점수는 탐지기의 예측에만 붙는다. 잘 학습된 탐지기라면 이 그림에 대해 이를테면 다음과 같은 집합을 내놓을 것이다(점수는 설명을 위해 지어낸 값이다. 실제 탐지기의 출력은 7장부터 직접 만들어 본다).

{ (박스 (0.80, 0.24, 0.30, 0.36), 클래스 2 삼각형, 점수 0.97),
  (박스 (0.20, 0.64, 0.36, 0.36), 클래스 0 원,     점수 0.95),
  (박스 (0.56, 0.35, 0.18, 0.18), 클래스 0 원,     점수 0.88) }

쓰는 사람은 보통 점수에 문턱값을 걸어, 예를 들어 점수가 0.5 를 넘는 예측만 화면에 그린다. 점수가 있기 때문에 "확실한 것만 보여 줘" 와 "조금이라도 의심스러우면 다 보여 줘" 사이를 고를 수 있다. 이 선택이 탐지기의 성적을 어떻게 바꾸는지가 3장의 주제다.

개수가 정해지지 않은 출력이 왜 어려운가

이미지 분류의 출력은 크기가 고정되어 있다. 클래스가 세 가지면 "원 점수, 사각형 점수, 삼각형 점수" 숫자 세 개를 내면 끝이고, 그림이 무엇이든 늘 세 개다. 신경망은 이런 일을 잘한다. 신경망은 본래 정해진 크기의 입력을 받아 정해진 크기의 출력을 내는 함수이기 때문이다(4장).

객체 탐지의 출력은 그렇지 않다. 어떤 그림은 답이 두 줄이고 어떤 그림은 네 줄이다. 실제 사진이라면 0줄(아무것도 없음)일 수도, 수십 줄(군중 사진)일 수도 있다. 여기에서 두 가지 곤란함이 생긴다.

  1. 출력의 크기를 어떻게 정할 것인가. 고정 크기 출력밖에 못 내는 신경망으로 개수가 변하는 답을 내야 한다. 지금까지 나온 거의 모든 탐지기는 같은 꾀를 쓴다. 넉넉히 많은 수의 "후보" 를 고정된 개수만큼 내놓고, 그 가운데 대부분은 "여기엔 아무것도 없음" 이라고 답하게 하는 것이다. 탐지기의 역사는 이 후보를 어떻게 만들고 어떻게 솎아 내느냐의 역사라고 해도 지나치지 않다.
  2. 순서가 없는 답을 어떻게 채점할 것인가. 집합에는 순서가 없으므로, 탐지기의 첫 번째 예측이 정답의 첫 번째 줄과 대응한다는 보장이 없다. 학습하려면 "어느 예측이 어느 정답을 맡았는가" 를 먼저 정해야 손실(틀린 정도)을 계산할 수 있다. 이 짝짓기 문제가 7장 DETR 의 핵심이다.

비유하면 객관식 시험(분류)은 답안지의 칸 수가 문제 수와 같다. 객체 탐지는 "이 사진에서 찾은 것을 모두 적으시오" 라는 서술형이다. 답안지에 칸이 100개 있고, 학생은 찾은 만큼만 채우고 나머지는 빈칸으로 둔다. 채점하는 사람은 학생이 적은 순서와 상관없이, 적힌 답 하나하나를 모범 답안의 어느 항목과 맞춰 볼지부터 정해야 한다. 같은 답을 두 번 적었다면 한 번만 점수를 주어야 한다.

탐지를 어렵게 만드는 다섯 가지

앞 절의 "개수 미정" 을 포함해 객체 탐지를 어렵게 만드는 것을 다섯 가지로 정리할 수 있다. 뒤에 나오는 탐지기의 부품들은 모두 이 가운데 어느 하나를 풀려고 만든 것이므로, 지금 이름을 붙여 두면 뒤의 장들이 훨씬 쉽게 읽힌다.

1. 객체가 몇 개인지 모른다

답의 개수가 그림마다 다르고 답 사이에 순서도 없다. 고정된 수의 후보를 내고 대부분을 "없음" 으로 처리하는 방식이 표준적인 해법이며, 후보를 무엇으로 삼느냐(후보 영역, 격자 칸, 앵커, 질의)가 탐지기의 종류를 가른다.

2. 크기와 위치가 제각각이다

같은 클래스의 객체가 그림 어디에나, 어떤 크기로나 나타날 수 있다. 도형 세상에서도 객체의 한 변은 그림의 14% 에서 42% 까지 세 배 차이가 난다. 실제 사진에서는 차이가 훨씬 커서, 카메라 바로 앞의 사람은 화면을 가득 채우고 멀리 있는 사람은 몇 픽셀에 지나지 않는다. 작은 객체를 보려면 그림을 촘촘히(높은 해상도로) 봐야 하는데 그러면 계산이 많아지고, 큰 객체를 보려면 넓은 범위를 한꺼번에 봐야 한다. 두 요구를 함께 맞추려는 장치가 여러 해상도의 특징 맵을 함께 쓰는 "다중 스케일" 이고, 8장에서 다룬다.

3. 같은 객체를 여러 번 예측한다

후보를 넉넉히 내면 한 객체 근처의 여러 후보가 저마다 "여기 원이 있다" 고 답하기 쉽다. 박스는 조금씩 다르지만 사실은 같은 원을 가리키는 예측들이다. 그대로 두면 원 하나를 세 개로 세게 된다. 이런 중복 예측을 어떻게 없앨 것인가는 탐지기 설계에서 가장 오래된 고민 가운데 하나다.

4. 그림의 대부분은 배경이다

후보의 대부분은 아무 객체도 맡지 않는다. 도형 세상의 그림을 가로 · 세로 여섯 칸씩 36칸으로 나누고 칸마다 후보를 하나씩 둔다고 해 보자. 객체가 둘이면 객체의 중심이 들어 있는 칸은 많아야 2칸이고, 나머지 34칸은 "없음" 이 정답이다. 비율로는 \(34 / 36 \approx 94\%\) 다.

이렇게 어떤 답(여기서는 "없음", 곧 배경)이 다른 답보다 압도적으로 많은 상황을 클래스 불균형(class imbalance)이라고 한다. 불균형이 심하면 탐지기는 "전부 없음" 이라고만 답해도 대부분 맞히게 되어, 정작 객체를 찾는 법을 배우지 못한다. 실제 탐지기에서는 불균형이 훨씬 심하다. RetinaNet 논문(Lin 외, 2017)은 그림 전체를 빽빽하게 훑는 탐지기가 그림 한 장에서 약 10만 개의 후보 위치를 따지며, 학습 때 객체와 배경의 비가 1 : 1000 에 이르기도 한다고 적었다. 그 논문이 내놓은 해법인 포컬 손실은 4장에서 손으로 계산해 본다.

원문 그림 1-3 은 두 어려움을 나란히 보여 준다. 왼쪽은 그림 1-1 의 다섯 번째 그림을 6×6 격자로 나눈 모습으로, 36칸 가운데 객체 중심(점)을 담은 칸은 색칠한 두 칸뿐이고 나머지 34칸(94%)의 정답은 "없음" 이다. 오른쪽은 원 하나에 비슷한 예측 세 개(원 0.92 실선, 원 0.85 · 원 0.61 점선, 점수는 설명용으로 지어낸 값)가 겹쳐 나온 모습으로, 박스는 조금씩 달라도 가리키는 객체는 같으므로 원은 하나뿐이고 하나만 남겨야 한다. 중복을 없애지 않으면 원을 세 개로 세게 된다.

5. 빨라야 한다

탐지기는 흔히 카메라 영상에 붙어 일한다. 초당 30장을 찍는 카메라를 따라가려면 그림 한 장을 약 33밀리초 안에 처리해야 한다(\(1000 \div 30 \approx 33.3\)). 게다가 탐지기가 돌아가는 곳은 대개 큰 서버가 아니라 차 안의 작은 컴퓨터나 공장 라인의 산업용 PC 다. 정확하지만 느린 탐지기는 쓸 수 없고, 빠르지만 부정확한 탐지기도 쓸 수 없다. 이 맞바꿈은 뒤의 "실시간" 절에서 자세히 본다.

어려움

한 줄 요약

대표적인 해법

자세히

개수 미정

답의 수가 그림마다 다르고 순서가 없다

고정된 수의 후보 + "없음", 예측과 정답의 짝짓기

7장

크기 · 위치 다양

작은 것도 큰 것도, 어디에나

여러 해상도의 특징을 함께 보기

8장

중복 예측

한 객체에 예측이 여러 개

후처리로 지우기(NMS), 또는 처음부터 하나만 내도록 학습

3장, 7장

클래스 불균형

후보의 대부분이 배경

쉬운 배경의 손실을 줄이기(포컬 손실 등)

4장, 11장

속도

정해진 시간 안에 답해야 한다

가벼운 구조, 정확도 – 지연 시간 맞바꿈의 탐색

9장, 12장

탐지기의 계보

딥러닝 탐지기는 2013년 무렵부터 지금까지 크게 세 갈래로 발전해 왔다. 2단계 탐지기, 1단계 탐지기, 그리고 DETR 계열이다. RF-DETR 은 세 번째 갈래의 가장 최근 가지에 있다. 갈래마다 "후보를 무엇으로 삼는가" 와 "중복을 어떻게 없애는가" 가 다르므로 이 두 가지에 주목하며 따라간다. 아래에서 연도는 논문이 arXiv 에 처음 올라온 해를 기준으로 적었다.

2단계 탐지기: 후보를 뽑고 나서 분류한다

가장 먼저 성공한 생각은 문제를 둘로 쪼개는 것이었다. 이미지 분류는 이미 잘 풀리고 있었으니, "객체가 있을 법한 영역" 만 누가 골라 주면 그 영역을 잘라 내어 분류기에 넣으면 된다. 객체가 있을 법하다고 골라낸 사각형을 후보 영역(region proposal)이라고 하고, 이렇게 ① 후보 영역을 뽑고 ② 후보마다 분류하는 두 단계로 일하는 탐지기를 2단계 탐지기(two-stage detector)라고 한다.

  • R-CNN (Girshick, Donahue, Darrell, Malik, 2013). 이름은 "Regions with CNN features" 의 줄임말이다. 그림 한 장에서 후보 영역을 약 2,000개 뽑고, 후보마다 합성곱 신경망(CNN)으로 특징을 계산한 뒤, 클래스별 분류기로 무엇인지 판정한다. 겹치는 예측은 뒤에서 설명할 NMS 로 지운다. 이 논문은 당시의 표준 시험인 PASCAL VOC 에서 이전 최고 기록보다 평균 정밀도(mAP)를 30% 넘게(상대값) 끌어올렸다고 보고해, 딥러닝이 탐지에서도 통한다는 것을 보였다. 다만 후보 2,000개를 하나하나 신경망에 넣으니 느렸다. 뒤이은 Fast R-CNN 논문은 R-CNN 이 큰 신경망(VGG16)을 쓰면 GPU 에서도 그림 한 장에 47초가 걸린다고 적었다.
  • Fast R-CNN (Girshick, 2015). 신경망을 후보마다 돌리지 않고 그림 전체에 한 번만 돌려 특징 맵을 만든 다음, 후보 영역에 해당하는 부분만 특징 맵에서 잘라 내어 분류한다. 같은 계산을 2,000번 되풀이하던 낭비를 없앤 것이다. 논문은 VGG16 기준으로 시험 때 R-CNN 보다 213배 빠르다고 보고했다. 그런데 이 시간에는 후보 영역을 뽑는 시간이 빠져 있었다. 후보 영역은 여전히 신경망 밖의 별도 알고리즘이 만들었고, 이제는 그것이 가장 느린 부분이 되었다.
  • Faster R-CNN (Ren, He, Girshick, Sun, 2015). 후보 영역을 뽑는 일까지 신경망에게 맡겼다. 분류에 쓰는 특징 맵을 그대로 받아 후보 영역을 내놓는 작은 신경망(RPN, Region Proposal Network)을 붙인 것이다. 논문은 이것으로 후보 영역을 "거의 공짜로" 얻는다고 표현했고, VGG16 기준으로 모든 단계를 합쳐 초당 5장을 처리한다고 보고했다. 이 논문에서 앵커라는 장치가 처음 등장한다(아래에서 설명).
  • Mask R-CNN (He, Gkioxari, Dollár, Girshick, 2017). Faster R-CNN 에 마스크를 예측하는 가지를 하나 더 달아 인스턴스 분할까지 하게 만든 모델이다.

2단계 탐지기는 정확했지만, 후보마다 두 번째 단계를 거쳐야 하므로 구조가 복잡하고 빠르게 만들기 어려웠다.

1단계 탐지기: 격자에서 한 번에

"후보를 따로 뽑지 말고, 그림을 한 번 훑으면서 박스와 클래스를 바로 내놓으면 안 될까?" 이렇게 후보 영역 단계를 없앤 탐지기를 1단계 탐지기(one-stage detector, single-stage detector)라고 한다.

  • YOLO (Redmon, Divvala, Girshick, Farhadi, 2015). "You Only Look Once(한 번만 본다)" 의 줄임말이다. 그림을 S×S 격자로 나누고(논문에서는 7×7), 객체의 중심이 들어 있는 칸이 그 객체를 책임진다는 규칙을 세웠다. 칸마다 박스 몇 개와 클래스 확률을 한꺼번에 내놓으므로 신경망을 한 번만 돌리면 된다. 그림 1-3 의 왼쪽 그림이 바로 이 생각이다. 논문은 기본 모델이 초당 45장을 처리한다고 보고했다. 대신 당시의 최고 탐지기들보다 박스 위치가 덜 정확하다는 점도 스스로 밝혔다.
  • SSD (Liu 외, 2015). "Single Shot MultiBox Detector". 특징 맵의 위치마다 크기 · 가로세로 비가 다른 "기본 박스(default box)" 를 여러 개 깔아 두고, 기본 박스마다 클래스 점수와 "기본 박스를 얼마나 고치면 객체에 맞는가" 를 예측한다. 해상도가 다른 여러 특징 맵에서 함께 예측해 크고 작은 객체를 나눠 맡긴다.
  • RetinaNet (Lin, Goyal, Girshick, He, Dollár, 2017). 1단계 탐지기가 2단계 탐지기보다 덜 정확했던 가장 큰 원인이 앞에서 본 클래스 불균형이라고 진단하고, 쉬운 배경 후보의 손실을 줄이는 포컬 손실을 제안했다. RF-DETR 의 손실에도 이 생각이 이어져 있다(11장).
  • 그 뒤의 YOLO 들. YOLO 는 여러 연구자의 손을 거치며 구조 · 데이터 증강 · 학습 기법을 고쳐 가는 긴 시리즈가 되었다. RF-DETR 논문이 견주는 상대는 그 가운데 YOLOv8(2023)과 YOLO11(2024)이다. 빠르고 쓰기 쉬워서, 실시간 탐지라고 하면 오랫동안 YOLO 를 뜻했다.

손으로 만든 부품: 앵커와 NMS

2단계든 1단계든, 위의 탐지기들에는 신경망이 배우는 것이 아니라 사람이 규칙을 정해 끼워 넣은 부품이 들어 있다. DETR 논문은 이런 것들을 손으로 만든 부품(hand-designed component)이라고 불렀다. 대표적인 것이 둘이다.

첫째, 앵커(anchor, anchor box). 그림 위에 미리 깔아 두는 기준 상자다. Faster R-CNN 이 처음 도입했고(SSD 의 "기본 박스" 도 같은 생각이다), 특징 맵의 위치마다 크기와 가로세로 비가 다른 상자를 여러 개 놓아 둔다. 탐지기는 박스를 맨바닥에서 예측하는 대신, 앵커마다 "이 앵커 근처에 객체가 있는가" 와 "있다면 앵커를 얼마나 옮기고 늘이면 되는가" 만 답한다. 네 숫자를 통째로 맞히는 것보다 "조금 고치기" 가 쉬우니 학습이 잘된다. 앞 절의 말로 하면 앵커가 곧 후보다. 앵커가 거슬리는 까닭은 다음과 같다.

  • 앵커의 크기 · 가로세로 비 · 개수를 사람이 정해야 한다. 데이터가 바뀌면(예: 길쭉한 전봇대가 많은 데이터) 다시 정해야 한다.
  • "어느 앵커가 어느 정답을 맡는가" 를 정하는 규칙(얼마나 겹치면 맡긴다 등)도 사람이 정한다.
  • 앵커는 수천 – 수만 개이고 그 대부분이 배경이라서 클래스 불균형을 스스로 불러온다.

둘째, NMS(비최대 억제, non-maximum suppression). 중복 예측을 지우는 후처리다. 신경망이 답을 다 낸 뒤에 따로 돌리는 규칙으로, 뼈대는 다음과 같다.

  1. 예측을 점수가 높은 순서로 늘어놓는다.
  2. 점수가 가장 높은 예측을 "채택" 한다.
  3. 채택한 예측과 많이 겹치는 나머지 예측을 모두 버린다. "많이" 의 기준이 되는 문턱값은 사람이 정한다.
  4. 남은 예측으로 2 – 3 을 되풀이한다.

그림 1-3 의 오른쪽 그림이라면 점수 0.92 인 실선 박스가 채택되고, 그것과 많이 겹치는 점선 박스 둘이 버려진다. 두 박스가 "얼마나 겹치는가" 를 재는 자(IoU)는 2장에서, NMS 의 구현은 3장에서 다룬다. NMS 가 거슬리는 까닭은 이렇다.

  • 문턱값을 사람이 골라야 한다. 너무 엄하면 중복이 남고, 너무 느슨하면 붙어 있는 서로 다른 객체(나란히 선 두 사람)까지 지운다. 데이터마다 알맞은 값이 다르다.
  • 학습과 따로 논다. 신경망은 NMS 가 뒤에 있다는 것을 모르는 채 학습된다. "입력에서 최종 답까지" 를 한 덩어리로 학습하지 못한다.
  • 시간이 든다. 예측이 많을수록 NMS 도 오래 걸리고, 그 시간은 그림마다 다르다. RT-DETR 논문은 NMS 가 YOLO 의 속도와 정확도를 함께 깎는다고 지적했다.

손으로 만든 부품이 나쁜 것만은 아니다. 앵커와 NMS 는 십 년 가까이 탐지기를 떠받친 잘 듣는 장치이고, 지금도 많은 탐지기가 쓴다. 문제는 이런 부품이 "사람이 고른 숫자" 를 품고 있어서 새 데이터로 옮겨 갈 때마다 다시 손봐야 하고, 전체를 한 번에 학습하는 것을 막는다는 점이다. RF-DETR 논문이 내세우는 "여러 데이터에 잘 옮겨 가는 탐지기" 라는 목표와 바로 이어지는 문제의식이다.

DETR: 탐지를 집합 예측으로

2020년, Carion 을 비롯한 Facebook AI 의 연구자들이 DETR(DEtection TRansformer)을 내놓았다. 생각의 출발점은 이 장의 첫머리에서 본 사실이다. 탐지기의 답은 집합이다. 그렇다면 집합을 직접 내놓도록 학습하자.

  • 고정된 수의 "답안 칸" 을 둔다. DETR 은 학습되는 벡터 100개를 들고 있다가, 그림을 보고 벡터 하나마다 예측 하나(박스 + 클래스, 또는 "객체 없음")를 내놓는다. 이 벡터를 객체 질의라고 한다. 앞의 비유로는 답안지의 칸 100개다. 앵커와 달리 그림 위의 정해진 자리에 묶여 있지 않다.
  • 예측과 정답을 일대일로 짝짓는다. 학습할 때 예측 100개와 정답 몇 개를 놓고, 전체 비용이 가장 작아지는 일대일 짝을 찾는다(헝가리안 매칭). 정답 하나는 딱 한 예측에만 배정되고, 짝을 얻지 못한 예측은 "객체 없음" 이 정답이 된다.
  • 그래서 중복이 스스로 사라진다. 같은 원을 두 칸이 함께 예측하면 둘 가운데 하나는 짝을 얻지 못해 벌을 받는다. 학습이 진행되면 칸들이 알아서 서로 다른 객체를 나눠 맡는다. NMS 가 필요 없다.

DETR 논문의 초록은 이것을 "NMS 나 앵커 생성 같은 손으로 만든 부품이 필요 없어졌다" 고 요약한다. 입력에서 최종 답까지 사람이 끼워 넣은 후처리 없이 한 덩어리로 학습한다는 뜻에서 이런 탐지기를 종단 간(end-to-end) 탐지기라고 한다. 구조는 CNN 백본 뒤에 Transformer 인코더 · 디코더를 붙인 것이다. 어텐션과 Transformer 는 5장에서, DETR 은 7장에서 직접 만들어 본다.

원문 그림 1-4 는 세 갈래 탐지기가 일하는 순서를 세 줄로 비교한다.

  • 2단계(R-CNN 계열): 그림 → ① 후보 영역 뽑기(수백 – 수천 개) → ② 후보마다 분류(클래스 + 박스 다듬기) → NMS → 결과.
  • 1단계(YOLO · SSD): 그림 → 신경망 한 번(격자 칸 · 앵커마다 클래스 + 박스를 한꺼번에) → NMS → 결과.
  • DETR 계열(RF-DETR 포함): 그림 → 신경망 한 번(질의 N 개 → 예측 N 개, 대부분 "객체 없음". 중복이 나오지 않게 학습됨) → 결과.

NMS 는 사람이 정한 규칙으로 도는 후처리로, 그림에서 점선 상자로 그려져 있다. DETR 계열에는 이 점선 상자가 없다는 것이 가장 큰 차이다.

이 그림에서 읽을 것은 상자의 수가 줄어드는 방향이다. 2단계 탐지기는 신경망 부품이 둘이고 후처리가 하나, 1단계 탐지기는 신경망 하나에 후처리 하나, DETR 계열은 신경망 하나뿐이다. 단계가 줄면 구조가 단순해지고, 전체를 하나의 손실로 학습할 수 있고, 처리 시간이 그림의 내용(예측이 몇 개 나왔는가)에 덜 흔들린다.

그러나 처음의 DETR 에는 뚜렷한 약점이 있었다. 논문 스스로 밝힌 것과 뒤이은 Deformable DETR 논문이 지적한 것을 모으면 다음과 같다.

  • 학습이 매우 느리다. COCO 에서 500 에폭(데이터 전체를 500번 보기)을 학습해야 했다. Deformable DETR 논문은 이것이 Faster R-CNN 의 10 – 20배라고 적었다.
  • 작은 객체에 약하다. DETR 논문은 큰 객체에서는 Faster R-CNN 보다 낫지만 작은 객체에서는 못하다고 보고했다.
  • 계산이 무겁다. 어텐션은 특징 맵의 모든 위치가 다른 모든 위치를 참고하므로, 작은 객체를 보려고 특징 맵의 해상도를 올리면 계산량이 급격히 늘어난다(5장에서 계산해 본다).

Deformable DETR 과 실시간 DETR 들

그 뒤의 연구는 DETR 의 장점(종단 간, NMS 없음)을 지키면서 이 약점들을 하나씩 없애는 방향으로 나아갔다.

  • Deformable DETR (Zhu 외, 2020). 모든 위치를 다 보는 대신, 기준이 되는 점 둘레의 몇 군데만 골라 보는 변형 어텐션(deformable attention)을 제안했다. 어디를 볼지도 학습한다. 논문은 이것으로 DETR 보다 10분의 1 의 에폭으로 더 나은 성능(특히 작은 객체에서)을 얻었다고 보고했다. RF-DETR 의 디코더가 지금도 이 연산을 쓴다. → 8장
  • RT-DETR (Zhao 외, 2023). 논문 제목이 "DETRs Beat YOLOs on Real-time Object Detection(DETR 이 실시간 탐지에서 YOLO 를 이긴다)" 이다. 여러 해상도의 특징을 싸게 처리하는 인코더와, 디코더에 넣을 처음 질의를 잘 고르는 방법을 내놓아, 저자들이 아는 한 첫 "실시간 종단 간 탐지기" 를 만들었다고 주장했다. 디코더 층 수를 바꿔 재학습 없이 속도를 조절할 수 있다는 점도 보였는데, 이 생각은 RF-DETR 에서 훨씬 넓게 쓰인다. → 9장
  • LW-DETR (Chen 외, 2024). "Light-Weight DETR". 구조가 아주 단순하다. ViT 인코더 + 프로젝터 + 얕은 DETR 디코더. CNN 백본 대신 그림을 패치로 잘라 Transformer 에 넣는 ViT(6장)를 쓰고, 계산을 줄이려고 가까운 패치끼리만 참고하는 윈도 어텐션과 모든 패치가 서로 참고하는 전역 어텐션을 번갈아 놓았다. RF-DETR 은 바로 이 LW-DETR 을 고쳐 만든 모델이다. → 9장
  • D-FINE (Peng 외, 2024). 박스의 네 변을 숫자 하나씩으로 맞히는 대신 확률 분포로 나타내어 조금씩 다듬는 방법으로 박스 위치의 정확도를 높인 실시간 DETR 이다. RF-DETR 논문이 가장 자주 견주는 상대다.
  • RF-DETR (Robinson, Robicheaux, Popov, Ramanan, Peri, 2025). Roboflow 와 카네기 멜런 대학의 연구자들이 내놓았고 ICLR 2026 에 발표되었다. 논문 제목은 "RF-DETR: Neural Architecture Search for Real-Time Detection Transformers" 다. 이 장의 나머지와 튜토리얼 전체의 주인공이다.

한눈에 보는 연표

원문 그림 1-5 는 탐지기를 네 줄(갈래)로 나눠 연도별로 늘어놓은 연표다. 2단계 줄에는 R-CNN(2013), Fast R-CNN · Faster R-CNN(2015), Mask R-CNN(2017)이, 1단계 줄에는 YOLO · SSD(2015), RetinaNet(2017), YOLOv8(2023), YOLO11(2024)이, DETR 계열 줄에는 DETR · Deformable DETR(2020), RT-DETR(2023), LW-DETR · D-FINE(2024), 굵은 테두리의 RF-DETR(2025)이 놓여 있다. 맨 아랫줄 "재료" 에는 RF-DETR 이 재료로 쓰거나 견줄 상대로 삼은 DINOv2 · GroundingDINO(2023)와 RF100-VL(2025)이 있다. 연도는 arXiv 에 처음 올라온 해이고, 가로 간격은 실제 햇수와 비례하지 않는다.

연표에서 읽을 흐름은 세 가지다. 첫째, 2013 – 2017년에는 2단계와 1단계가 나란히 발전했다. 둘째, 2020년에 DETR 이 세 번째 줄을 열었지만 실시간 탐지에 쓰일 만큼 빨라진 것은 2023년 RT-DETR 부터다. 셋째, RF-DETR 은 세 번째 줄(LW-DETR)과 맨 아랫줄(DINOv2 라는 사전 학습 모델, RF100-VL 이라는 벤치마크)이 만나는 자리에 있다.

연도

모델 (저자)

갈래

핵심 생각

튜토리얼

2013

R-CNN (Girshick 외)

2단계

후보 영역 약 2,000개를 뽑아 하나씩 CNN 으로 분류

1장

2015

Fast R-CNN (Girshick)

2단계

CNN 을 그림 전체에 한 번만 돌리고 후보 부분만 잘라 분류

1장

2015

Faster R-CNN (Ren 외)

2단계

후보 영역도 신경망(RPN)이 뽑는다. 앵커 도입

1장

2015

YOLO (Redmon 외)

1단계

격자 칸마다 박스와 클래스를 한 번에 예측

1장

2015

SSD (Liu 외)

1단계

여러 해상도의 특징 맵 위 기본 박스마다 예측

1장

2017

RetinaNet (Lin 외)

1단계

클래스 불균형을 포컬 손실로 다스림

4장

2017

Mask R-CNN (He 외)

2단계

Faster R-CNN 에 마스크 가지를 더해 인스턴스 분할

13장

2020

DETR (Carion 외)

DETR

집합 예측 + 일대일 짝짓기. 앵커 · NMS 없음

7장

2020

Deformable DETR (Zhu 외)

DETR

몇 군데만 골라 보는 변형 어텐션. 학습이 10배 빨라짐

8장

2023

RT-DETR (Zhao 외)

DETR

실시간으로 도는 첫 종단 간 탐지기라는 주장

9장

2023

DINOv2 (Oquab 외)

재료

정답 없이 1억 4,200만 장으로 사전 학습한 ViT

6장

2023

GroundingDINO (Liu 외)

재료

글로 적은 이름 · 문장으로 객체를 찾는 열린 어휘 탐지기

1장

2024

LW-DETR (Chen 외)

DETR

ViT 인코더 + 프로젝터 + 얕은 디코더

9장

2024

D-FINE (Peng 외)

DETR

박스의 변을 확률 분포로 나타내어 다듬기

1장

2025

RF100-VL (Robicheaux 외)

재료

서로 다른 분야의 데이터셋 100개로 이루어진 벤치마크

1장

2025

RF-DETR (Robinson 외)

DETR

DINOv2 백본 + 가중치 공유 NAS + 지연 시간 측정 표준화

10 – 13장

"실시간" 이란 무엇인가

RF-DETR 논문 제목에는 "Real-Time(실시간)" 이 들어 있다. 탐지기에서 실시간(real-time)은 "쓰는 곳이 요구하는 시간 안에 답을 낸다" 는 뜻이다. 초당 30장짜리 카메라라면 한 장에 33밀리초, 초당 60장이라면 17밀리초가 한계다. 딱 정해진 한 숫자가 있는 것은 아니고 논문마다 기준을 밝혀 쓴다. RF-DETR 논문은 뒤에서 볼 표준 장비(NVIDIA T4 GPU)에서 지연 시간 40밀리초 이하인 탐지기를 실시간 탐지기로 놓고 견준다.

지연 시간과 처리량

빠르기를 재는 자는 두 가지다.

  • 지연 시간(latency): 그림 한 장을 넣고 답이 나올 때까지 걸리는 시간. 단위는 밀리초(ms, 1초의 1,000분의 1)이고 작을수록 좋다. "브레이크를 밟아야 하나" 를 판단하는 자율주행처럼, 답 하나하나가 얼마나 빨리 나오는지가 중요한 곳에서 본다.
  • 처리량(throughput): 일정 시간 동안 처리하는 그림의 수. 단위는 초당 장 수(FPS, frames per second)이고 클수록 좋다. 쌓여 있는 영상 수만 시간을 한꺼번에 분석하는 일처럼, 전체를 얼마나 빨리 끝내는지가 중요한 곳에서 본다.

그림을 한 장씩 차례로 처리한다면 둘은 서로의 역수다. 지연 시간을 \(t\) 밀리초라고 하면 1초(1,000밀리초) 동안 처리하는 장 수는 다음과 같다.

\(\text{초당 처리 장 수} = \frac{1000}{t}\)

RF-DETR 논문 표 2 의 값으로 지연 시간에서 초당 처리 장 수를 구하면 다음과 같다.

\(\begin{align} t = 2.3 \;&\Rightarrow\; \frac{1000}{2.3} \approx 435 \\ t = 4.4 \;&\Rightarrow\; \frac{1000}{4.4} \approx 227 \\ t = 17.2 \;&\Rightarrow\; \frac{1000}{17.2} \approx 58 \end{align}\)

  1. RF-DETR (N) 의 지연 시간은 2.3밀리초다. 1,000밀리초를 한 장에 걸리는 시간으로 나누면 1초에 몇 장인지가 나온다. 약 435장이다.
  2. RF-DETR (M) 은 4.4밀리초다. 같은 방법으로 약 227장이다. 지연 시간이 약 두 배가 되니 처리 장 수는 약 절반이 된다.
  3. 가장 큰 실시간 모델인 RF-DETR (2XL) 은 17.2밀리초, 초당 약 58장이다. 초당 30장짜리 카메라의 예산(33.3밀리초)의 절반쯤을 쓴다.

이 나눗셈은 어림셈이다. \(1000 / t\) 는 "탐지기만, 한 장씩, 쉬지 않고" 돌린다고 가정한 값이다. 실제 시스템에는 카메라에서 그림을 읽고 크기를 맞추는 시간, 결과를 넘기는 시간이 더 붙는다. 거꾸로 여러 장을 묶어 한꺼번에 넣으면(배치) 처리량은 더 커질 수 있다. 또 RF-DETR 논문은 자신들의 측정 방식이 오래 쉬지 않고 돌릴 때의 처리량을 재려는 것이 아니라 지연 시간을 되풀이해 재도 같은 값이 나오게 하려는 것이라고 밝혔다(표 1 의 설명). 그러니 위 숫자는 "대략 이 정도 빠르기" 로만 읽어야 한다.

정확도와 지연 시간의 맞바꿈, 파레토 곡선

탐지기는 크게 만들수록(층을 더 쌓고, 그림을 더 높은 해상도로 볼수록) 대체로 정확해지고, 그만큼 느려진다. 정확도와 지연 시간은 한쪽을 얻으면 다른 쪽을 내주는 맞바꿈(tradeoff) 관계다. 그래서 "가장 좋은 탐지기" 는 하나가 아니다. 1밀리초가 아쉬운 드론과 정확도가 생명인 의료 영상 판독은 서로 다른 탐지기를 원한다.

노트북을 고르는 일과 같다. 가볍고 느린 것, 무겁고 빠른 것이 있고, 어느 쪽이 "더 좋다" 고 한마디로 말할 수 없다. 하지만 더 무거우면서 더 느린 노트북은 확실히 살 까닭이 없다. 그런 것들을 다 걸러 내고 남은 "살 만한 것들" 의 목록이 파레토 곡선이다.

여러 탐지기를 가로축이 지연 시간, 세로축이 정확도인 그림에 점으로 찍어 보자. 왼쪽일수록 빠르고 위쪽일수록 정확하니 왼쪽 위가 이상적인 방향이다. 원문 그림 1-6 은 이런 정확도 – 지연 시간 그림의 개념도(실제 측정값이 아니다)로, 점 하나가 모델 하나다. 짙은 점 여섯 개를 이은 선이 왼쪽 아래에서 오른쪽 위로 가며 점점 눕는 파레토 경계이고, 그 아래 · 오른쪽에 흐린 점들이 흩어져 있다. 흐린 점 A 의 왼쪽 위에는 짙은 점 B 가 있다.

  • 점 A 를 보면, A 의 왼쪽 위에 점 B 가 있다. B 는 A 보다 빠르면서 동시에 더 정확하다. 이럴 때 "B 가 A 를 지배한다" 고 말한다. A 를 고를 까닭이 없다.
  • 짙은 점들은 서로를 지배하지 못한다. 오른쪽 점은 더 정확하지만 더 느리고, 왼쪽 점은 더 빠르지만 덜 정확하다. 어느 것을 고를지는 쓰는 곳의 시간 예산에 달려 있다.
  • 이렇게 다른 어떤 점에게도 지배당하지 않는 점들을 이은 선을 파레토 경계 또는 파레토 곡선이라고 한다(이탈리아 경제학자 빌프레도 파레토의 이름에서 왔다). 탐지기 논문이 "우리 모델이 더 낫다" 고 말할 때의 정확한 뜻은 대개 "우리 모델들의 파레토 곡선이 남의 곡선보다 왼쪽 위에 있다" 이다.
  • 곡선은 오른쪽으로 갈수록 눕는다. 지연 시간을 두 배 들여도 정확도는 조금밖에 오르지 않는다는 뜻이다. 뒤의 표에서 실제 숫자로 확인한다.

보통은 파레토 곡선 위의 점 하나하나가 따로 설계하고 따로 학습한 모델이다. YOLO 의 N · S · M · L · X 가 그런 식이다. RF-DETR 의 가장 눈에 띄는 주장은, COCO 에서 얻은 자신들의 파레토 곡선 위의 모든 점이 단 한 번의 학습에서 나왔다는 것이다(논문 그림 1 의 설명). 어떻게 그것이 가능한지가 12장의 주제이고, 파레토 곡선도 그 장에서 도형 세상의 실험으로 직접 그려 본다.

지연 시간은 공정하게 재기 어렵다

파레토 곡선의 가로축은 믿을 만할까. RF-DETR 논문은 그렇지 않다고 문제를 제기한다. 같은 모델의 지연 시간이 논문마다 다르게 보고되어 왔다는 것이다. 예를 들어 D-FINE 논문이 다시 잰 LW-DETR 의 지연 시간은 LW-DETR 논문이 보고한 값보다 25% 빨랐다고 한다. 논문이 꼽는 원인과 처방은 다음과 같다.

  • GPU 의 전력 제한. 쉬지 않고 돌리면 GPU 가 뜨거워져 스스로 속도를 낮추고, 그 때문에 측정값이 흔들린다. 논문의 처방은 순전파 사이에 200밀리초씩 쉬는 것이다.
  • NMS 시간 빼놓기. YOLO 계열은 NMS 에 걸리는 시간을 빼고 지연 시간을 보고하는 일이 많아, NMS 가 없는 종단 간 탐지기와 견줄 때 불공정하다고 논문은 지적한다.
  • 정확도와 지연 시간을 서로 다른 모델로 재기. 지연 시간은 숫자를 16비트로 줄인 빠른 모델(FP16)로 재고 정확도는 32비트 모델(FP32)로 재는 관행이 있는데, 16비트로 줄이면 정확도가 떨어질 수 있다. 논문은 둘을 같은 모델 파일로 재야 한다고 주장한다.

이 문제 제기와 표준화한 측정 절차가 RF-DETR 논문의 세 번째 기여다. 자세한 내용과 직접 지연 시간을 재 보는 실험은 12장과 14장에 있다. 지금은 "이 장의 표에 나오는 지연 시간은 모두 RF-DETR 논문이 같은 장비 · 같은 방법으로 다시 잰 값" 이라는 것만 기억하면 된다.

RF-DETR 의 문제의식

이 절의 내용은 논문의 주장이다. 근거로 든 실험과 함께 옮기되, 튜토리얼이 따로 검증한 사실처럼 읽지 않도록 "논문은 … 라고 주장한다" 는 꼴로 적는다.

열린 어휘 탐지기와 특화 탐지기

논문은 요즘의 탐지기를 두 부류로 나눈다.

  • 특화 탐지기(specialist detector, closed-vocabulary detector): 학습할 때 정한 클래스 목록 안에서만 답하는 탐지기다. 지금까지 본 R-CNN, YOLO, DETR, LW-DETR, D-FINE 이 모두 여기에 든다. 도형 세상으로 학습한 탐지기는 원 · 사각형 · 삼각형만 알고, 별 모양을 보여 줘도 "별" 이라고 답할 수 없다. 어휘(클래스 목록)가 닫혀 있다는 뜻에서 닫힌 어휘 탐지기라고도 한다. 가볍고 빠르다.
  • 열린 어휘 탐지기(open-vocabulary detector): 찾을 대상을 글로 받는 탐지기다. "빨간 우산", "왼쪽의 사자" 처럼 낱말이나 문장을 그림과 함께 넣으면 그에 해당하는 박스를 내놓는다. 학습 때 보지 못한 이름도 넣을 수 있어 어휘가 열려 있다. 대표적인 예가 GroundingDINO(Liu 외, 2023)와 YOLO-World 다. 이런 능력은 인터넷에서 모은 엄청난 양의 그림 – 글 쌍으로 학습한 비전-언어 모델(vision-language model, VLM)에서 나온다. 글을 이해하는 부품(텍스트 인코더)까지 들고 있어야 하므로 무겁고 느리다.

비교

특화(닫힌 어휘) 탐지기

열린 어휘 탐지기

찾을 대상

학습 때 정한 클래스 목록

글로 적어 주는 무엇이든

새 클래스가 필요하면

정답을 단 데이터로 다시 학습(미세 조정)

이름만 바꿔 넣으면 된다(잘 통할 때)

크기 · 속도

작고 빠르다

크고 느리다

예

YOLO, RT-DETR, LW-DETR, D-FINE, RF-DETR

GroundingDINO, YOLO-World

논문이 본 약점

COCO 에 과하게 맞춰져 있다

사전 학습 때 못 본 종류의 데이터에서는 잘 통하지 않는다

논문의 진단은 이렇다. 열린 어휘 탐지기는 자동차 · 트럭 · 보행자처럼 흔한 대상은 따로 학습하지 않고도 잘 찾지만, 사전 학습 데이터에 드물던 대상(의료 영상 속의 병변, 공장의 특정 부품, 항공 사진)에서는 성능이 크게 떨어진다. 그런 데이터로 미세 조정하면 정확도는 오르지만 느린 것은 그대로다. 반대로 특화 탐지기는 빠르지만 미세 조정한 열린 어휘 탐지기만큼 정확하지 못했다. 그래서 논문의 목표는 이 둘의 좋은 점을 합치는 것이다. 논문의 표현으로는 "인터넷 규모의 사전 학습과 실시간 구조를 결합해 특화 탐지기를 현대화한다."

핵심
RF-DETR 은 특화 탐지기다. 글을 입력받지 않고 정해진 클래스만 찾는다. 다만 열린 어휘 탐지기가 가진 장점의 뿌리, 곧 인터넷 규모의 그림으로 미리 배운 지식을 백본(DINOv2)을 통해 가져온다. 텍스트 인코더는 가져오지 않으므로 가볍다.

COCO 에 과하게 맞춰진 탐지기라는 주장

연구자들이 탐지기를 견주려면 같은 시험지가 필요하다. 모두가 같은 데이터로 같은 방식으로 점수를 매기도록 정해 둔 시험을 벤치마크(benchmark)라고 한다. 객체 탐지에서 가장 널리 쓰이는 벤치마크가 COCO(Common Objects in Context)다(Lin 외, 2014). 이름 그대로 일상 장면 속의 흔한 물체를 담은 사진 모음으로, 논문에 따르면 사진 약 32만 8천 장에 객체 250만 개가 표시되어 있다. 탐지 벤치마크로는 사람 · 자전거 · 자동차 · 개 · 의자 같은 80가지 클래스를 쓰고, 논문들은 보통 COCO 의 검증 세트에서 잰 점수를 보고한다.

십 년 넘게 모든 탐지기가 COCO 점수로 경쟁해 왔다. RF-DETR 논문은 여기에 부작용이 있다고 주장한다. 최근의 특화 탐지기들이 COCO 점수를 조금이라도 더 올리려고 다음 세 가지를 COCO 에 꼭 맞게 다듬어 왔다는 것이다.

  1. 모델 구조. COCO 의 그림 크기 · 객체 크기 분포에 맞춘 구조.
  2. 학습률을 바꿔 가는 일정표. 예를 들어 학습률을 코사인 곡선을 따라 줄이려면 "전체 학습이 몇 스텝인지" 를 미리 알아야 한다. COCO 처럼 크기가 정해진 데이터 하나에는 잘 맞출 수 있지만, 크기가 제각각인 데이터들에는 맞지 않는다고 논문은 지적한다.
  3. 데이터 증강을 바꿔 가는 일정표. 그림을 뒤집고 자르고 섞는 강한 증강을 언제 켜고 끌지까지 COCO 에 맞춰 조정한다. 논문은 위아래 뒤집기를 예로 든다. 자율주행차의 보행자 탐지기를 위아래로 뒤집은 그림으로 학습하면 물웅덩이에 비친 사람을 사람으로 잘못 탐지할 수 있다.

이렇게 한 시험지에만 지나치게 맞춰진 탐지기는 그 시험지와 성격이 다른 실제 데이터(그림당 객체 수, 클래스 수, 데이터의 크기가 다른)에서 기대만큼 잘하지 못한다는 것이 논문의 주장이다. 근거로 드는 관찰이 하나 있다. D-FINE 은 RT-DETR 을 바탕으로 만들어 COCO 에서는 RT-DETR 보다 점수가 높다. 그런데 아래의 RF100-VL 에서 재 보니 한 지표(AP50)에서는 RT-DETR 이 D-FINE 을 앞섰다(논문 표 4: RT-DETR (M) 85.7, D-FINE (M) 85.5). 논문은 이를 D-FINE 의 학습 설정이 COCO 에 과하게 맞춰졌을 수 있다는 신호로 푼다.

그래서 RF-DETR 은 학습 방식을 일부러 단순하게 잡는다. 논문은 이것을 "일정표 없는(scheduler-free)" 방식이라고 부른다. 학습률 워밍업을 쓰지 않고, 증강은 좌우 뒤집기와 무작위 자르기만 쓴다. 자세한 설정은 11장에서 다룬다.

주장과 사실은 나눠 읽어야 한다. "COCO 에 과하게 맞춰졌다" 는 RF-DETR 저자들의 해석이다. 저자 가운데 여럿이 RF100-VL 을 만든 사람들이고 Roboflow 는 그 데이터를 운영하는 회사라는 점도 함께 알아 두면 좋다. 그렇다고 주장이 틀렸다는 뜻은 아니다. "벤치마크 하나의 점수만으로 탐지기를 고르지 말라" 는 교훈은 누가 말하든 새겨들을 만하다. 다만 뒤의 표에서 보듯, COCO 점수만 놓고 보면 RF-DETR 이 모든 크기에서 모든 상대를 이기는 것은 아니며 논문도 그 점을 숨기지 않는다.

RF100-VL: 백 개의 서로 다른 데이터셋

"여러 실제 데이터에서 잘하는가" 를 재려고 RF-DETR 논문이 COCO 와 나란히 쓰는 두 번째 벤치마크가 RF100-VL(Roboflow100-VL)이다(Robicheaux 외, 2025).

  • Roboflow Universe(사용자들이 데이터셋을 올리는 곳)에서 고른 서로 다른 객체 탐지 데이터셋 100개의 묶음이다.
  • RF100-VL 논문에 따르면, 인터넷 규모 사전 학습에서 흔히 볼 수 없는 개념을 담은 것들을 골랐다. 엑스선 · 열화상 · 항공 사진 같은 다른 촬영 방식, 학술 용어나 약어로 된 클래스 이름, 재질 구별 같은 것들이다. 100개를 일곱 범주로 묶어 보여 준다.
  • 그 논문은 GroundingDINO 같은 모델이, 따로 학습하지 않은 채로는 이 가운데 어려운 의료 영상 데이터셋들에서 2% 에 못 미치는 정확도를 낸다고 보고했다. 열린 어휘 탐지기가 "무엇이든" 찾지는 못한다는 근거다.
  • 점수는 데이터셋 100개 각각에서 탐지기를 학습 · 평가해 평균 낸다. RF-DETR 논문은 데이터셋이 이만큼 다양하니, 이 평균 점수가 "어떤 새 분야로든 잘 옮겨 가는가" 의 대용 지표가 된다고 본다.

데이터셋이 하나 더 나온다. Objects365 는 Shao 외(2019)가 만든 대규모 객체 탐지 데이터셋으로, RF-DETR 에서는 시험지가 아니라 교과서 구실을 한다. COCO 나 RF100-VL 로 학습하기 전에 먼저 Objects365 로 탐지기 전체를 한 번 학습해 두는 것이다(사전 학습). LW-DETR 논문은 이 사전 학습이 DETR 계열에 큰 도움이 된다고 보고했고, RF-DETR 도 그대로 따른다. 사전 학습과 미세 조정이라는 두 순서는 6장에서 자세히 다룬다.

데이터셋

무엇인가

RF-DETR 논문에서의 구실

COCO

일상 사진, 클래스 80가지. 탐지의 대표 벤치마크

이전 연구와 공정하게 견주는 시험지

RF100-VL

분야가 서로 다른 데이터셋 100개의 묶음

실제 데이터로 얼마나 잘 옮겨 가는지 보는 시험지

Objects365

대규모 객체 탐지 데이터셋

탐지기를 미리 학습시키는 교과서(사전 학습)

도형 세상

이 튜토리얼이 만든 96×96 장난감 데이터

(논문과 무관) 이 튜토리얼의 모든 실습 무대

RF-DETR 한눈에 보기

RF-DETR 을 한 문장으로 말하면 이렇다. LW-DETR 의 뼈대에, 인터넷 규모로 사전 학습한 DINOv2 백본을 끼우고, 한 번의 학습으로 빠르기가 다른 수천 개의 모델을 얻는 방법(가중치 공유 NAS)을 얹은 실시간 탐지기. 먼저 구조를, 그다음 논문이 내세운 세 가지 기여를 본다.

구조: 그림에서 박스까지

원문 그림 1-7 은 RF-DETR 의 구조 개념도다(논문 그림 2 를 바탕으로 튜토리얼이 다시 그린 것). 윗줄이 "그림을 이해하는" 부분으로 ① 그림(예: 384×384 RGB) → ② 패치로 자르기(16×16 조각 → 토큰, + 위치 임베딩) → ③ DINOv2 ViT 백본(흐린 칸 = 윈도 어텐션 블록, 짙은 칸 = 전역 어텐션 블록) → ④ 프로젝터(여러 층의 토큰을 모아 탐지용 특징 맵으로)가 이어지고, 그 결과가 특징 맵(모양: 채널 × 높이 × 너비)이다. 아랫줄이 "객체를 집어내는" 부분으로 ⑤ 질의 선택(특징 맵의 모든 위치에서 객체가 있을 법한 정도를 매겨 상위 300곳을 골라 질의 300개의 출발 박스로 삼음) → ⑥ 디코더 층 × 2 – 6(자기 어텐션 → 변형 교차 어텐션 → FFN, 곧 질의끼리 의논 → 특징 맵 들여다보기 → 정리. 디코더는 특징 맵에서 필요한 곳만 들여다본다) → ⑦ 분류 머리(클래스 · 점수)와 박스 머리(박스), ⑧ 분할 머리(마스크, RF-DETR-Seg 에만)로 이어진다. 출력은 질의마다 (박스, 클래스, 점수) 하나씩이고 NMS 없이 그대로 최종 답이다. 백본 안의 칸 배열은 논문 부록 A 의 표기를 따랐다.

부품마다 한 문장씩만 설명하고 자세한 내용은 해당 장으로 넘긴다. 지금은 낯선 낱말이 많아도 괜찮다. "이런 부품들이 이런 순서로 놓인다" 만 눈에 익혀 두고, 10장을 읽은 뒤 돌아와 다시 보면 모든 칸이 읽힐 것이다.

  1. 그림. 정해진 해상도(가장 작은 N 모델은 384×384)로 크기를 맞춘 RGB 그림이다.
  2. 패치로 자르기. 그림을 16×16 픽셀짜리 작은 조각(패치)으로 바둑판처럼 자르고, 조각 하나를 숫자 벡터 하나(토큰)로 바꾼다. "몇 번째 조각인가" 를 알려 주는 위치 임베딩을 더한다. → 6장
  3. DINOv2 ViT 백본. 토큰들이 서로를 참고해 가며(어텐션) 뜻이 담긴 표현으로 바뀌어 가는 Transformer 층 12개다. 그림을 이해하는 일의 대부분을 이 부품이 맡으므로 백본(backbone, 등뼈)이라고 부른다. 가중치는 맨바닥에서 배우지 않고 DINOv2 가 정답 없는 그림 1억 4,200만 장으로 미리 배운 값에서 시작한다. 계산을 줄이려고, 가까운 토큰끼리만 참고하는 윈도 어텐션 블록과 모든 토큰이 서로 참고하는 전역 어텐션 블록을 번갈아 놓는다. → 5장(어텐션), 6장(ViT 와 DINOv2), 9장(윈도 어텐션), 10장
  4. 프로젝터. 백본의 여러 층에서 꺼낸 토큰을 다시 바둑판 꼴로 펴서 이어 붙이고, 합성곱 층 몇 개로 다듬어 탐지에 쓰기 좋은 특징 맵 하나로 만든다. 백본과 디코더를 잇는 다리다. → 9장, 10장
  5. 질의 선택. 특징 맵의 모든 위치에 대해 "여기에 객체가 있을 법한가" 를 점수로 매기고, 점수가 높은 300곳을 골라 그 자리의 대강의 박스를 디코더의 출발점으로 넘긴다. 2단계 탐지기의 "후보 영역" 과 닮은 생각을 신경망 안에 녹여 넣은 것이다. → 8장, 10장
  6. 디코더. 질의 300개(답안 칸 300개)가 층을 지나며 다듬어진다. 한 층은 세 가지 일을 차례로 한다. 자기 어텐션으로 질의끼리 서로를 참고해 같은 객체를 겹쳐 맡지 않게 하고, 변형 교차 어텐션으로 저마다 특징 맵에서 자기 박스 둘레의 몇 군데만 들여다보고, FFN(작은 신경망)으로 얻은 정보를 정리한다. 층 수는 모델 크기에 따라 2 – 6개다. → 5장, 7장, 8장, 10장
  7. 분류 머리 · 박스 머리. 다듬어진 질의 하나하나에서 클래스별 점수와 박스 네 숫자를 읽어 내는 작은 출력 층이다. 몸통 끝에 달려 답을 내놓는다는 뜻에서 머리(head)라고 부른다. → 10장
  8. 분할 머리(RF-DETR-Seg 에만). 질의마다 마스크를 하나씩 더 내놓는 가벼운 부품이다. 탐지만 할 때는 없다. → 13장

구조에서 꼭 짚어 둘 점이 둘 있다. 첫째, 후처리가 없다. 디코더가 내놓은 300개의 예측이 그대로 최종 답이다(점수가 낮은 것을 문턱값으로 걸러 내기만 한다). 둘째, 학습할 때 모든 디코더 층의 출력에 머리를 달아 손실을 건다. 그래서 어느 층에서 멈춰도 쓸 만한 답이 나오고, 이것이 뒤에서 볼 "디코더 층 수" 손잡이를 가능하게 한다.

세 가지 기여

논문은 자신의 기여를 세 가지로 정리한다. 초급자의 말로 풀면 다음과 같다.

기여 1. 많이 본 눈 + 빠른 몸. 사람도 그림을 많이 본 사람이 새 물건을 빨리 익힌다. DINOv2 는 정답 표시가 없는 그림 1억 4,200만 장을 보며 "그림을 보는 법" 을 미리 익힌 모델이다(6장). RF-DETR 은 이 눈을 실시간 탐지기(LW-DETR)의 몸에 끼웠다. 논문은 이렇게 하면 작은 데이터셋에서 정확도가 크게 오른다고 보고한다. 데이터가 적을수록 미리 배운 지식의 몫이 커지기 때문이다. 대가도 있다. DINOv2 백본은 LW-DETR 이 쓰던 백본(10층)보다 층이 많아(12층) 더 느리다. 논문은 이 손해를 기여 2 로 되찾는다고 말한다.

기여 2. 손잡이 다섯 개가 달린 탐지기. 보통은 빠른 모델이 필요하면 작은 모델을 새로 설계해 처음부터 다시 학습한다. RF-DETR 은 모델 하나를 학습하면서, 매 스텝마다 아래 다섯 손잡이를 무작위로 돌려 가며 학습한다. 그러면 학습이 끝난 뒤에 손잡이를 어느 위치에 놓든 다시 학습하지 않고도 쓸 만한 모델이 된다. 이것을 가중치 공유 NAS(신경망 구조 탐색)라고 한다.

손잡이

돌리면

정확도 ↔ 속도

① 그림 해상도

그림을 얼마나 크게 볼지

높이면 작은 객체를 잘 보지만 느려진다

② 패치 크기

그림을 얼마나 잘게 자를지

작게 자르면 토큰이 많아져 정확하지만 느려진다

③ 윈도 수

윈도 어텐션 블록에서 그림을 몇 구역으로 나눌지

구역이 많으면 계산은 줄지만 멀리 있는 정보를 덜 섞는다

④ 디코더 층 수

질의를 몇 번 다듬을지

층을 빼면 빨라지고 조금 덜 정확해진다

⑤ 질의 수

답안 칸을 몇 개 둘지

줄이면 빨라지지만 찾을 수 있는 객체 수의 한계가 낮아진다

학습이 끝나면 손잡이의 조합을 수천 가지 만들어 검증 데이터에서 정확도와 지연 시간을 재고, 그 가운데 파레토 경계에 놓인 조합만 골라낸다. 논문은 COCO 에서 6,468가지 조합을 평가했다고 적었다. 앞에서 말한 "파레토 곡선 위의 모든 점이 한 번의 학습에서 나왔다" 는 바로 이 뜻이다. 쓰는 사람에게는 이것이 "내 데이터, 내 장비에 맞는 크기를 다시 학습하지 않고 고를 수 있다" 는 뜻이 된다. → 12장

기여 3. 빠르기를 재는 자를 바로잡기. 앞 절에서 본 지연 시간 측정 문제다. 논문은 순전파 사이에 200밀리초를 쉬고, 정확도와 지연 시간을 같은 모델 파일로 재는 절차를 제안하고, 그 절차로 다른 탐지기들까지 모두 다시 재어 표를 만들었다. 측정 도구도 공개했다. → 12장

핵심 · RF-DETR 을 세 줄로
무엇인가: LW-DETR 을 고쳐 만든, NMS 없는 실시간 특화 탐지기(와 인스턴스 분할 모델 RF-DETR-Seg).
무엇을 바꿨나: 백본을 DINOv2 로, 학습을 "손잡이를 무작위로 돌려 가며" 하는 가중치 공유 NAS 로, 학습 설정을 일정표 없이 단순하게.
왜: COCO 한 곳이 아니라 어떤 데이터 · 어떤 장비에서도, 다시 설계하지 않고 알맞은 정확도 – 지연 시간 지점을 고르기 위해.

숫자로 보는 RF-DETR

표에 나오는 정확도 지표 AP(평균 정밀도)는 "박스를 얼마나 정확히, 빠짐없이, 헛짚지 않고 찾았는가" 를 한 숫자로 요약한 점수다. 어떻게 계산하는지는 3장 한 장을 통째로 들여 배운다. 지금은 0 에서 100 사이의 점수이고 높을수록 좋다는 것만 알면 된다. 감을 잡자면, COCO 에서 AP 1 – 2점 차이는 논문 한 편이 내세울 만한 개선이고 5점은 큰 차이다.

지연 시간은 모두 RF-DETR 논문이 NVIDIA T4 라는 GPU 에서, TensorRT(엔비디아의 추론 최적화 도구)로 변환한 16비트(FP16) 모델로, 앞에서 말한 표준 절차에 따라 잰 값이다. 측정 흔들림이 최대 0.1밀리초여서 소수 첫째 자리까지만 적는다고 논문은 밝혔다. 매개변수 수의 M 은 백만 개다.

크기별 구성과 성능

다음 표는 논문 표 7(구성)과 표 2 · 표 12(성능)를 합친 것이다. 한 줄이 "손잡이를 어디에 놓았는가" 와 "그 결과가 어떤가" 를 함께 보여 준다. 모두 COCO 탐지이고, 질의 수는 모든 크기에서 300 이다.

크기

해상도

패치

한 변의 토큰 수

윈도

디코더 층

백본

매개변수

지연 시간 (ms)

AP

N (nano)

384

16

24

2

2

DINOv2-S

30.5M

2.3

48.0

S (small)

512

16

32

2

3

DINOv2-S

32.1M

3.5

52.9

M (medium)

576

16

36

2

4

DINOv2-S

33.7M

4.4

54.7

L (large)

704

16

44

2

4

DINOv2-S

33.9M

6.8

56.5

XL

700

20

35

1

5

DINOv2-B

126.4M

11.5

58.6

2XL

880

20

44

2

5

DINOv2-B

126.9M

17.2

60.1

Max

828

12

69

1

6

DINOv2-B

132.4M

98.0

61.8

"한 변의 토큰 수" 는 논문 표에는 없고 튜토리얼이 해상도를 패치 크기로 나누어 덧붙인 열이다. 해상도를 \(R\), 패치 크기를 \(P\) 라고 하면 그림 한 변에는 패치가 \(R / P\) 개 들어가고, 그림 전체의 패치(토큰) 수는 그 제곱이다.

\(\begin{align} \frac{R}{P} &= \frac{384}{16} = 24 \\ \left(\frac{R}{P}\right)^2 &= 24^2 = 576 \\ \frac{576}{16} &= 36, \qquad 36^2 = 1296 \\ \frac{1296}{576} &= 2.25 \end{align}\)

  1. N 모델. 한 변이 384픽셀인 그림을 한 변이 16픽셀인 패치로 자르면 가로로 24개, 세로로도 24개가 들어간다.
  2. 가로 24개 × 세로 24개이므로 패치는 모두 576개다. 백본은 이 576개의 토큰을 다룬다.
  3. M 모델(해상도 576, 패치 16)에 같은 계산을 한다. 한 변에 36개, 모두 1,296개다.
  4. 해상도는 1.5배(\(576 / 384\))가 되었을 뿐인데 토큰 수는 \(1.5^2 = 2.25\) 배가 된다. 해상도를 올리면 계산량이 왜 빠르게 느는지가 여기에서 나온다.

표에서 읽을 것은 다음과 같다.

  • N → L 은 거의 같은 모델이다. 백본이 같고(DINOv2-S) 매개변수 수도 30.5M 에서 33.9M 으로 거의 그대로다. 달라지는 것은 해상도와 디코더 층 수, 곧 손잡이의 위치뿐이다. 그런데도 지연 시간은 2.3 에서 6.8밀리초로 세 배, AP 는 48.0 에서 56.5 로 8.5점 달라진다. 논문이 "매개변수 수가 비슷해도 지연 시간은 크게 다를 수 있다" 고 한 그대로다. 모델의 크기(매개변수 수)와 빠르기는 다른 것이다.
  • XL 부터는 백본이 커진다(DINOv2-B). 매개변수가 네 배 가까이 된다.
  • 뒤로 갈수록 점수 1점이 비싸진다. N → S 는 1.2밀리초를 더 들여 4.9점을 얻지만, 2XL → Max 는 80.8밀리초를 더 들여 1.7점을 얻는다. 그림 1-6 에서 곡선이 오른쪽으로 갈수록 눕던 것의 실제 숫자다.
  • 2XL 은 60.1 AP다. 논문은 이것을 "실시간 탐지기 가운데 COCO 60 AP 를 처음 넘은 것" 이라고 주장한다(저자들이 아는 한). Max 는 98.0밀리초로, 논문이 실시간의 기준으로 삼은 40밀리초를 넘는다.
  • 손잡이가 꼭 한 방향으로만 움직이지는 않는다. L 과 2XL 은 한 변의 토큰 수가 44 로 같고, XL(35)은 L(44)보다 오히려 적다. 어떤 조합이 좋은지는 사람이 짐작하기 어려워서 탐색에 맡긴 것이다. 논문 부록 L 은, 성능이 해상도나 패치 크기 각각보다 그 비(곧 토큰 수)와 더 밀접하다고 보고한다.

표의 "윈도" 열은 논문 표 7 의 "Windows" 값을 그대로 옮긴 것이다. 공개 코드에서 이 값(num_windows)은 한 변을 몇으로 나누는가를 뜻해서, 2 이면 그림을 2×2 = 4구역으로 나눈다. 1 이면 나누지 않으므로 모든 블록이 전역 어텐션과 같아진다. 자세한 것은 10장에서 코드와 함께 확인한다.

다른 탐지기와 견주기

다음은 논문 표 2 에서 발췌한 것이다. 지연 시간이 비슷한 것끼리 묶었고, 모두 COCO 검증 세트의 AP 다.

묶음

모델

갈래

매개변수

지연 시간 (ms)

AP

N
(약 2 ms)

YOLO11 (N)

1단계 + NMS

2.6M

2.2

37.1

LW-DETR (T)

DETR

12.1M

1.9

42.9

D-FINE (N)

DETR

3.8M

2.1

42.7

RF-DETR (N)

DETR

30.5M

2.3

48.0

S
(약 3 ms)

YOLO11 (S)

1단계 + NMS

9.4M

3.2

44.1

LW-DETR (S)

DETR

14.6M

2.6

48.0

D-FINE (S)

DETR

10.2M

3.5

50.6

RF-DETR (S)

DETR

32.1M

3.5

52.9

M
(약 4 – 5 ms)

YOLO11 (M)

1단계 + NMS

20.1M

5.1

48.3

RT-DETR (R18)

DETR

36.0M

4.4

49.0

LW-DETR (M)

DETR

28.2M

4.4

52.6

D-FINE (M)

DETR

19.2M

5.4

55.0

RF-DETR (M)

DETR

33.7M

4.4

54.7

큰 모델

GroundingDINO (T), COCO 로 미세 조정

열린 어휘

173.0M

427.6 ※

58.2

RF-DETR (2XL)

DETR

126.9M

17.2

60.1

※ GroundingDINO 는 TensorRT 로 돌릴 수 없어 PyTorch 에서 잰 지연 시간이다. 나머지와 측정 조건이 다르므로 지연 시간은 참고로만 보아야 한다. AP 58.2 도 RF-DETR 저자들이 직접 잰 값이 아니라 공개 구현(mmdetection)이 보고한 값을 옮긴 것이라고 논문은 밝혔다.

이 표에서 읽을 것은 다음과 같다.

  • 작은 쪽에서 차이가 가장 크다. N 묶음에서 RF-DETR 은 D-FINE 보다 \(48.0 - 42.7 = 5.3\) 점, LW-DETR 보다 5.1점 높다. 논문 초록의 "+5.3 AP" 가 이 숫자다. 지연 시간은 2.3밀리초로 D-FINE(2.1) · LW-DETR(1.9)보다 조금 길며, 논문은 이를 "비슷한 지연 시간" 이라고 표현한다.
  • RF-DETR (N) 은 YOLO11 (M) 과 비슷한 점수를 절반 이하의 시간에 낸다. 48.0 대 48.3, 2.3밀리초 대 5.1밀리초다.
  • M 묶음에서는 D-FINE (M) 이 0.3점 높다(55.0 대 54.7). 대신 1밀리초 느리다(5.4 대 4.4). 둘은 서로를 지배하지 못하며, 그림 1-6 의 짙은 점 둘과 같은 관계다. 표에는 없지만 더 큰 쪽에서도 마찬가지여서, 논문 표 12 에서 D-FINE (L) 57.2 · (XL) 59.3 은 RF-DETR (L) 56.5 · (XL) 58.6 보다 높다. 논문도 "D-FINE (x-large) 이 RF-DETR (x-large) 을 앞선다" 고 적었다. RF-DETR 이 COCO 의 모든 크기에서 이기는 것은 아니다.
  • RF-DETR 은 매개변수가 많다. N 묶음에서 D-FINE 은 3.8M, RF-DETR 은 30.5M 으로 여덟 배다. 그런데도 지연 시간은 비슷하다. 앞 표에서 본 "크기와 빠르기는 다르다" 가 다시 나타난다. 다만 모델 파일의 크기나 메모리가 빠듯한 장치라면 매개변수 수도 따져야 한다.
  • 미세 조정한 열린 어휘 탐지기를 넘어선다. RF-DETR (2XL) 은 GroundingDINO (T) 보다 1.9점 높다.

COCO 밖의 결과는 논문 표 4 의 RF100-VL(데이터셋 100개의 평균)에 있다. 몇 줄만 옮긴다.

모델

지연 시간 (ms)

RF100-VL AP

YOLO11 (M)

5.1

57.0

LW-DETR (N)

1.9

57.1

D-FINE (N)

2.0

58.2

RF-DETR (N)

2.5

57.8 (탐색 뒤 미세 조정하면 58.6)

RF-DETR (M)

4.6

61.7 (62.0)

GroundingDINO (T), 미세 조정

309.9 ※

62.3

RF-DETR (2XL)

15.6

63.3 (63.5)

※ PyTorch 에서 잰 값이다(위 표와 같은 사정).

RF-DETR (2XL) 은 GroundingDINO (T) 보다 \(63.5 - 62.3 = 1.2\) 점 높고, 지연 시간은 \(309.9 \div 15.6 \approx 20\) 분의 1 이다. 초록의 "+1.2 AP 이면서 20배 빠르다" 가 이 숫자다(1.2점은 미세 조정한 쪽의 값이고, 지연 시간은 측정 조건이 다르다는 단서가 붙는다). N 크기에서는 D-FINE (N) 이 58.2 로, 미세 조정하지 않은 RF-DETR (N) 57.8 보다 높다는 것도 표에 그대로 나와 있다. 또 YOLO11 은 M 크기도 57.0 에 머무는데, 논문은 YOLO 계열이 모델을 키워도 RF100-VL 점수가 오르지 않는다고 보고한다.

인스턴스 분할 쪽(논문 표 3)도 한 줄만 적어 둔다. RF-DETR-Seg (N) 은 3.4밀리초에 마스크 AP 40.3 으로, 논문이 잰 YOLO11 분할 모델의 모든 크기를 앞선다. 자세한 것은 13장에서 본다.

논문 수치와 README 수치

RF-DETR 은 지금도 개발 중인 공개 패키지(rfdetr)다. 그래서 저장소 README 의 표와 논문의 표가 조금 다른 곳이 있다. 튜토리얼이 확인한 README(2026년 11월)의 COCO AP 는 다음과 같다.

크기

논문 표 2 · 12 의 AP

README 의 AP

N

48.0

48.4

S

52.9

53.0

M

54.7

54.7

L

56.5

56.5

차이는 0.1 – 0.4점으로 작다. 공개된 가중치가 논문을 쓴 뒤에 갱신되었을 수 있지만 튜토리얼은 그 까닭을 확인하지 못했다. 그래서 튜토리얼에서 "논문의 수치" 라고 하면 늘 논문의 표를 가리키고, 패키지를 직접 돌려 얻은 값은 14장에서 따로 "실제로 잰 값" 으로 적는다. 둘을 섞지 않는다. 또 README 에 따르면 N · S · M · L 탐지 모델과 분할 모델 전부는 Apache 2.0 라이선스로, XL · 2XL 같은 더 큰 탐지 모델은 별도 패키지(rfdetr[plus])의 다른 라이선스로 제공된다. 실전에서 쓸 때 확인할 점이다.

LW-DETR 에서 RF-DETR 로: 절제 실험 읽기

RF-DETR 은 LW-DETR 에서 여러 가지를 한꺼번에 바꿨다. 그러면 "무엇이 얼마나 도움이 되었는가" 가 궁금해진다. 이것을 알아보려고 바꾼 점을 하나씩 넣거나 빼 가며 성능을 재는 실험을 절제 실험(ablation study)이라고 한다. 논문 표 5 가 그것으로, LW-DETR (M) 에서 출발해 한 줄에 한 가지씩 바꿔 RF-DETR (M) 에 이른다. 딥러닝 논문에서 가장 정보가 많은 표가 대개 절제 실험 표이니 읽는 법을 익혀 둘 만하다.

단계

바꾼 것

매개변수

지연 시간 (ms)

AP

앞 줄과의 차이

0

LW-DETR (M) - 출발점

28.2M

4.4

52.6

-

1

+ 순한 학습 설정

28.2M

4.4

51.6

−1.0

2

+ DINOv2 백본

32.3M

4.7

53.6

+2.0

3

+ Objects365 사전 학습 추가

32.3M

4.7

54.3

+0.7

4

+ 가중치 공유 NAS 로 학습

32.3M

4.7

54.6

+0.3

5

패치 14 → 16, 해상도 560 → 640

32.3M

4.7

54.4

−0.2

6

해상도 640 → 576

32.2M

4.0

53.6

−0.8

7

윈도 4 → 2

32.2M

4.3

54.3

+0.7

8

디코더 3층 → 4층

33.7M

4.4

54.6

+0.3

원문 그림 1-8 은 이 표를 계단으로 그린 것이다. 가로로 단계 0 – 8(LW-DETR (M), 순한 설정, DINOv2, O365 추가, NAS 학습, 패치 16 · 640, 해상도 576, 윈도 2, 디코더 4층)을 늘어놓고, 점마다 위에 AP(52.6, 51.6, 53.6, 54.3, 54.6, 54.4, 53.6, 54.3, 54.6), 아래에 지연 시간(4.4, 4.4, 4.7, 4.7, 4.7, 4.7, 4.0, 4.3, 4.4 ms)을 적었다. 왼쪽 다섯 점(단계 0 – 4)은 학습 방법을 바꾼 것이고, 점선 오른쪽 네 점(단계 5 – 8)은 이미 학습된 모델의 손잡이만 돌린 것(재학습 없음)이다. 출발점과 도착점의 지연 시간이 4.4밀리초로 같다는 점이 핵심이다. 한 계단씩 읽으면 다음과 같다.

  1. 단계 1: 한 계단 내려간다(−1.0). 학습 설정을 LW-DETR 보다 순하게 바꿨다. 학습률을 낮추고(4e-4 → 1e-4), 프로젝터의 배치 정규화를 층 정규화로 바꾼 것 등이다. 점수가 떨어지는데 왜 할까. 논문의 답은 둘이다. 층 정규화로 바꿔야 메모리가 작은 일반 GPU 에서도(여러 스텝의 기울기를 모아 갱신하는 방식으로) 학습할 수 있고, 낮은 학습률이 다음 단계에서 끼울 DINOv2 의 사전 지식을 덜 망가뜨린다. 뒤의 계단을 오르기 위해 먼저 내려가는 계단이다.
  2. 단계 2: 가장 큰 계단(+2.0). 백본을 DINOv2 로 바꾼다. 잃은 1점을 되찾고 1점을 더 얻는다. 대신 백본이 12층으로 늘어 지연 시간이 4.4 에서 4.7밀리초가 된다. 논문 표 6 은 같은 조건에서 다른 사전 학습 백본(SigLIPv2, SAM2 의 Hiera)도 끼워 보았는데 DINOv2 가 가장 좋았다고 보고한다.
  3. 단계 3: +0.7. Objects365 사전 학습을 더 오래 한다. 학습률을 낮춰 최적화가 느려진 것을 메우는 구실이라고 논문은 설명한다.
  4. 단계 4: +0.3. 학습 방식을 가중치 공유 NAS 로 바꾼다. 모델 구성(패치 14, 해상도 560)은 그대로인데 점수가 오른다. 더 흥미로운 점은, 패치 크기 14 가 학습 때 돌린 손잡이 값의 목록에 들어 있지도 않았다는 것이다. 논문은 손잡이를 무작위로 돌리며 학습하는 것 자체가 데이터 증강처럼 모델을 튼튼하게 만든다고 풀고, 이를 "구조 증강(architecture augmentation)" 이라고 부른다.
  5. 단계 5: 지연 시간이 그대로인 까닭. 여기서부터는 다시 학습하지 않고 손잡이만 돌린다. 패치를 14 에서 16 으로, 해상도를 560 에서 640 으로 바꾸면 한 변의 토큰 수가 \(560 / 14 = 40\) 에서 \(640 / 16 = 40\) 으로 같다. 그래서 지연 시간도 4.7밀리초 그대로이고 점수는 0.2점만 달라진다. 앞 절에서 본 "토큰 수가 중요하다" 의 한 예다.
  6. 단계 6: 속도를 산다. 해상도를 576 으로 낮춰 토큰을 줄인다. 지연 시간이 4.7 에서 4.0밀리초로 줄고 점수는 0.8점 떨어진다.
  7. 단계 7 · 8: 남는 시간으로 정확도를 되산다. 윈도를 4 에서 2 로 줄이고(+0.7점, +0.3밀리초) 디코더를 4층으로 늘린다(+0.3점, +0.1밀리초). 윈도를 줄이면 한 구역이 넓어져 계산은 늘지만 정보가 더 멀리 섞인다.

도착점은 4.4밀리초에 54.6 AP다. 출발점 LW-DETR (M) 과 지연 시간은 똑같고 점수는 2.0점 높다. 단계 2 에서 DINOv2 때문에 늘었던 0.3밀리초를 단계 5 – 8 의 손잡이 조정으로 되찾았다. 앞 절에서 "DINOv2 백본의 손해를 NAS 로 되찾는다" 고 한 말이 숫자로는 이런 뜻이다.

이 표를 읽을 때 조심할 점이 셋 있다.

  • 순서에 따라 달라질 수 있다. 절제 실험의 "+2.0" 은 "이 순서로 쌓았을 때 그 계단의 높이" 다. 순서를 바꾸면 계단마다의 높이는 달라질 수 있다. 여러 변화는 서로 영향을 주기 때문이다(예: 낮은 학습률은 DINOv2 와 함께일 때 뜻이 있다).
  • 표 사이의 작은 어긋남. 표 5 의 마지막 줄(54.6)과 표 2 의 RF-DETR (M) (54.7)은 0.1점 다르다. 논문은 까닭을 밝히지 않는다.
  • 설명 사이의 어긋남. "순한 학습 설정" 의 내용으로 논문 본문은 "더 큰 배치" 를, 표 5 의 설명은 "더 작은 배치" 를 든다. 부록 A 는 배치 크기 128 로 LW-DETR 과 같다고 적었다. 튜토리얼은 어느 쪽이 맞는지 확인하지 못했으므로, 위에서는 세 곳이 함께 말하는 학습률과 정규화만 적었다.

이 튜토리얼이 쌓아 가는 순서

이 장에서는 낯선 낱말을 많이 지나쳤다. IoU, AP, 어텐션, 질의, 헝가리안 매칭, 변형 어텐션, 윈도 어텐션, 가중치 공유 NAS. 남은 장들은 이 낱말을 하나씩, 손으로 계산하고 코드로 돌려 가며 채워 넣는 과정이다. 순서는 RF-DETR 을 바깥에서 안으로 뜯어보는 것이 아니라, 밑바닥 부품부터 하나씩 만들어 올려 마지막에 RF-DETR 이 되게 짰다. 원문 그림 1-9 는 이 네 단계(1단계 기초 체력 2 – 6장, 2단계 DETR 계보 7 – 9장, 3단계 RF-DETR 10 – 13장, 4단계 실전 14 – 15장)와 그 아래 "도형 세상에서 미니 RF-DETR 을 만든다" 는 띠를 그린 지도로, 지금 읽는 1장은 1단계의 들머리이고 굵은 테두리의 3단계에서 도형 세상용 "미니 RF-DETR" 이 완성된다.

1단계 · 기초 체력 (02 – 06장)

2단계 · DETR 계보 (07 – 09장)

  • 7장 DETR: 집합 예측과 헝가리안 매칭. 도형 세상에서 NMS 없는 탐지기를 처음으로 만들고, 왜 학습이 느린지 직접 본다.
  • 8장 Deformable DETR: 필요한 곳만 보는 변형 어텐션을 처음부터 구현한다.
  • 9장 실시간 DETR: RT-DETR 과 LW-DETR: 윈도 어텐션, 프로젝터 등 RF-DETR 이 물려받은 부품들.

3단계 · RF-DETR (10 – 13장)

4단계 · 실전 (14 – 15장)

  • 14장 실전: rfdetr 패키지: 공개된 진짜 RF-DETR 로 추론하고, 내 데이터로 미세 조정하고, 배포용으로 내보낸다.
  • 15장 부록: 막혔을 때의 점검표, 수식 모음, 용어집, 더 읽을 논문.

튜토리얼이 끝까지 지키려는 약속은 하나다. RF-DETR 의 모든 부품을 도형 세상에서 직접 만들어 돌려 본다. 진짜 RF-DETR 은 매개변수가 3천만 개가 넘고 COCO 로 학습하려면 GPU 여러 대가 필요하지만, 96×96 도형 그림용으로 줄인 "미니 RF-DETR" 은 노트북 GPU 한 장으로 십여 분이면 학습된다. 크기는 작아도 구조와 손실은 같은 원리다. 작은 것으로 원리를 손에 익힌 다음 14장에서 진짜를 만난다. 다만 미니 실험의 결과와 논문이 COCO 에서 보고한 결과는 서로 다른 것이므로, 튜토리얼은 늘 "이 튜토리얼의 실험에서는" 과 "논문에서는" 을 나눠 적는다.

정리

  • 객체 탐지는 그림 속 객체마다 박스와 클래스를 답하는 문제이고, 탐지기의 출력은 (박스, 클래스, 점수) 의 집합 \(\{(b_i, c_i, s_i)\}\) 이다. 개수가 그림마다 다르고 순서가 없다.
  • 탐지를 어렵게 만드는 것은 개수 미정, 크기 · 위치의 다양함, 중복 예측, 클래스 불균형(대부분이 배경), 속도 다섯 가지다.
  • 2단계 탐지기(R-CNN 계열)는 후보 영역을 뽑은 뒤 분류하고, 1단계 탐지기(YOLO · SSD)는 격자 · 앵커에서 한 번에 예측한다. 둘 다 앵커와 NMS 같은 손으로 만든 부품에 기댄다.
  • DETR(2020)은 탐지를 집합 예측으로 보고 예측과 정답을 일대일로 짝지어 NMS 없이 종단 간으로 학습한다. 느린 학습과 무거운 계산을 Deformable DETR, RT-DETR, LW-DETR 이 차례로 덜어 냈다.
  • 실시간은 지연 시간(한 장에 걸리는 밀리초)으로 잰다. 정확도와 지연 시간은 맞바꿈 관계이고, 다른 모델에게 지배당하지 않는 모델들을 이은 선이 파레토 곡선이다.
  • RF-DETR(2025, ICLR 2026)은 LW-DETR 에 DINOv2 백본을 끼우고, 다섯 손잡이(해상도 · 패치 크기 · 윈도 수 · 디코더 층 수 · 질의 수)를 돌려 가며 학습하는 가중치 공유 NAS 를 얹고, 지연 시간 측정을 표준화했다.
  • 논문의 문제의식은 "특화 탐지기가 COCO 에 과하게 맞춰져 있다" 는 것이고, 그래서 COCO 와 함께 데이터셋 100개짜리 RF100-VL 로 평가한다. 이것은 논문의 주장이다.
  • 논문 수치: RF-DETR (N) 2.3 ms 에 48.0 AP(D-FINE (N) 보다 +5.3), (2XL) 17.2 ms 에 60.1 AP. 다만 M 이상에서는 D-FINE 이 COCO AP 가 조금 더 높은 크기도 있다.

확인 문제

1. 사과 세 개와 바나나 한 개가 놓인 사진이 있다. (가) 이미지 분류 (나) 객체 탐지 (다) 인스턴스 분할은 각각 무엇을 답으로 내놓는가? 답의 "개수" 가 사진에 따라 달라지는 것은 어느 것인가?
(가) "사과, 바나나가 있다" - 그림 전체에 대한 클래스. 몇 개인지, 어디인지는 답하지 않는다. (나) 박스 4개(사과 3, 바나나 1)와 저마다의 클래스 · 점수. (다) 마스크 4개(사과 3, 바나나 1)와 저마다의 클래스 · 점수. 사과 셋을 서로 다른 인스턴스로 따로 칠한다. 답의 개수가 사진마다 달라지는 것은 (나)와 (다)다. (가)는 클래스 수만큼의 고정된 출력이다.
2. 도형 세상(96×96)의 한 정답 박스가 \((c_x, c_y, w, h) = (0.25, 0.50, 0.50, 0.25)\) 이다. 이 박스의 중심과 너비 · 높이를 픽셀로 바꾸고, 박스의 왼쪽 끝과 오른쪽 끝의 가로 좌표를 구하라.
96 을 곱한다. 중심 \((0.25 \times 96,\; 0.50 \times 96) = (24, 48)\), 너비 \(0.50 \times 96 = 48\), 높이 \(0.25 \times 96 = 24\) 픽셀. 왼쪽 끝은 중심에서 너비의 절반을 뺀 \(24 - 24 = 0\), 오른쪽 끝은 \(24 + 24 = 48\) 이다. 그림의 왼쪽 절반을 가로로 꽉 채운 납작한 박스다(도형 세상의 실제 그림에서는 도형이 가장자리에서 조금 떨어지도록 만들기 때문에 이런 박스는 나오지 않는다. 계산 연습용이다).
3. 그림을 8×8 격자로 나누고 칸마다 후보를 하나씩 둔다. 그림에 객체가 3개 있고 중심이 모두 다른 칸에 있다면, "없음" 이 정답인 후보는 몇 개이고 전체의 몇 % 인가? 이런 상황에서 탐지기가 "전부 없음" 이라고만 답하면 후보 기준 정답률은 얼마이며, 왜 이것이 문제인가?
후보는 \(8 \times 8 = 64\) 개, 객체를 맡는 후보는 3개이므로 "없음" 은 \(64 - 3 = 61\) 개, \(61 / 64 \approx 95.3\%\) 다. "전부 없음" 이라고 답해도 후보의 95.3% 를 맞힌다. 그러나 객체는 하나도 찾지 못했으니 탐지기로서는 쓸모가 없다. 학습이 이런 "쉬운 정답" 으로 쏠리지 않게 막아야 하는 것이 클래스 불균형 문제다(4장의 포컬 손실).
4. 초당 60장을 찍는 카메라에 탐지기를 붙이려 한다. (1) 그림 한 장에 쓸 수 있는 시간은 몇 밀리초인가? (2) 탐지기 말고 다른 처리에 6밀리초가 든다면, "크기별 구성과 성능" 표에서 쓸 수 있는 가장 정확한 RF-DETR 은 어느 크기인가? (3) 그 모델만 쉬지 않고 돌린다면 초당 몇 장을 처리하는가?
(1) \(1000 \div 60 \approx 16.7\) 밀리초. (2) 탐지기에 남는 시간은 \(16.7 - 6 = 10.7\) 밀리초다. L 은 6.8밀리초로 들어가고 XL 은 11.5밀리초로 넘친다. 그러므로 L(56.5 AP)이다. (3) \(1000 \div 6.8 \approx 147\) 장. 단, 표의 지연 시간은 T4 GPU 에서 TensorRT FP16 으로 잰 값이므로 다른 장비에서는 직접 재야 한다.
5. 다섯 모델의 (지연 시간 ms, COCO AP) 가 YOLO11 (M) (5.1, 48.3) · RT-DETR (R18) (4.4, 49.0) · LW-DETR (M) (4.4, 52.6) · D-FINE (M) (5.4, 55.0) · RF-DETR (M) (4.4, 54.7) 이다. 파레토 경계 위에 있는 모델을 모두 고르고, 나머지는 어떤 모델에게 지배당하는지 말하라.
파레토 경계 위에 있는 것은 RF-DETR (M) 과 D-FINE (M) 이다. RF-DETR (M) 은 다섯 가운데 가장 빠른 4.4밀리초에서 AP 가 가장 높다(54.7). D-FINE (M) 은 더 느리지만(5.4) AP 가 더 높으므로(55.0) RF-DETR (M) 에게 지배당하지 않는다. RT-DETR (R18) 과 LW-DETR (M) 은 지연 시간이 같은 RF-DETR (M) 보다 AP 가 낮으므로 지배당한다. YOLO11 (M) 은 RF-DETR (M) 보다 느리면서 AP 도 낮으므로 지배당한다(이 다섯 개 안에서의 이야기이며, 다른 크기의 모델까지 넣으면 경계는 달라진다).
6. RF-DETR 논문은 COCO 에서 해상도 11가지, 패치 크기 7가지, 디코더 층 수 7가지(0 – 6층), 윈도 수 3가지, 질의 수 4가지의 조합을 모두 평가했다고 적었다. 조합은 모두 몇 가지인가? 이것을 하나하나 따로 학습하지 않아도 되는 까닭은?
\(11 \times 7 \times 7 \times 3 \times 4 = 6468\) 가지다(\(11 \times 7 = 77\), \(77 \times 7 = 539\), \(539 \times 3 = 1617\), \(1617 \times 4 = 6468\)). 학습할 때 매 스텝마다 손잡이를 무작위로 돌려 가며 하나의 가중치를 갱신했기 때문에, 그 가중치는 어느 조합으로 놓아도 쓸 만하게 동작한다(가중치 공유 NAS). 그래서 학습이 끝난 뒤에는 조합마다 정확도와 지연 시간을 재기만 하면 된다. 자세한 것은 12장에서 다룬다.
7. YOLO 같은 탐지기에는 NMS 가 필요한데 DETR 계열에는 필요 없는 까닭을, "학습할 때 정답을 예측에 어떻게 배정하는가" 의 차이로 설명하라.
격자 · 앵커 방식에서는 한 객체 근처의 여러 후보가 저마다 그 객체를 예측해도 학습 때 벌을 받지 않으므로(오히려 여러 후보에게 같은 정답을 맡기기도 한다), 추론 때 한 객체에 예측이 여러 개 나온다. 그래서 뒤에서 규칙(NMS)으로 지워야 한다. DETR 은 정답 하나를 딱 한 예측에만 일대일로 배정하고, 나머지 예측은 "객체 없음" 이 정답이 된다. 같은 객체를 겹쳐 예측한 질의는 벌을 받으므로, 학습이 끝나면 중복이 애초에 나오지 않는다.

다음 장 박스와 IoU에서는 가장 밑바닥의 부품부터 시작한다. 탐지기의 답은 박스이고, 박스가 맞았는지 틀렸는지를 말하려면 먼저 "두 박스가 얼마나 비슷한가" 를 숫자로 잴 수 있어야 하므로, 박스를 적는 법과 겹침을 재는 법을 손으로 계산하고 코드로 만들어 본다.

See also

Favorite site

author MCPBot sitemap