Olmo 3
lastmod 2026-11-16created 2025-11-242 edits
Olmo 3는 Allen Institute for AI(Ai2)가 2025년 11월 20일 공개한 7B·32B 규모의 dense 언어 모델 계열이다. 최종 가중치만 내놓지 않고 사전학습부터 사후학습까지 단계별 체크포인트, 학습 데이터, 코드를 모두 공개했으며, Ai2 는 이 전체 과정을 "model flow" 라고 부른다. 공개된 중간 단계에서 갈라져 나와 데이터나 학습 방식을 바꿔 다시 학습할 수 있게 하는 것이 목표이다.
About
- 구성: Olmo 3-Base(7B·32B), 추론 모델 Olmo 3-Think(7B·32B), 대화·도구 호출용 Olmo 3-Instruct(7B), 강화학습 연구용 Olmo 3-RL Zero(7B)
- decoder-only Transformer. 사전학습은 대규모 학습 → 수학·코드·독해 위주 mid-training → 긴 문서 학습의 3단계이고, Base 는 약 65K 토큰 문맥까지 성능을 유지함
- 사후학습은 SFT → DPO → RLVR 순서. Base, mid-training, 긴 문맥 확장, Think·Instruct·RL Zero 각 단계의 체크포인트를 따로 공개함
- 사전학습 코퍼스 Dolma 3 는 웹 페이지, olmOCR 로 처리한 과학 PDF, 코드, 수학, 백과사전 텍스트로 된 약 9.3조 토큰이고, 실제 학습에는 그중 약 5.9조 토큰을 뽑은 Dolma 3 Mix 를 씀. 사후학습 데이터는 Dolci
- Ai2 평가에서 Olmo 3-Think 32B 는 Qwen 3 32B 보다 약 6배 적은 토큰으로 학습하고도 차이를 좁혔고, IFEval 89.0 으로 비교 모델 중 가장 높음
- OlmoTrace 로 모델 출력이 어느 학습 데이터에서 왔는지 실시간으로 찾아봄
- 사전학습은 H100 최대 1,024개, mid-training 은 128개, 사후학습은 256개로 함. SFT 를 Olmo Core 로 옮겨 처리량을 8배, RL 학습 효율을 4배 높였다고 밝힘
- 2025년 12월에는 RL 을 더 오래 돌린 Olmo 3.1 Think 32B 와 Olmo 3.1 Instruct 32B 를 추가로 공개함