콘텐츠로 이동
Search

NanoChat

lastmod 2026-11-16created 2025-10-152 edits

nanochat은 Andrej Karpathy 가 2025년 10월 공개한 LLM 학습 실험용 코드베이스이다. 토크나이저 학습부터 사전학습, 파인튜닝, 평가, 추론까지 LLM 의 주요 단계를 GPU 노드 한 대에서 처음부터 끝까지 돌리도록 작고 고치기 쉽게 짰다. 이름은 사전학습만 다루던 이전 프로젝트 nanoGPT 에서 왔다.

About

  • 8XH100 노드에서 runs/speedrun.sh 한 번으로 GPT-2 수준(DCLM CORE 0.2565 초과) 모델을 약 2시간, $48 정도에 학습함. 2019년 GPT-2 학습비는 약 $43,000
  • 모델 크기는 --depth(트랜스포머 층 수) 하나로 정하고, 폭·헤드 수·학습률·학습 길이·weight decay 는 compute-optimal 하게 자동 계산됨. GPT-2 수준은 d24~d26 근처
  • "Time-to-GPT-2" 리더보드로 학습 시간 단축을 겨룸. 2026년 1월 3.04시간에서 데이터셋을 NVIDIA ClimbMix 로 바꾸고 autoresearch 를 거쳐 1.65시간까지 줄어듦
  • 단일 GPU 에서는 torchrun 없이 돌리면 gradient accumulation 으로 같은 결과를 내지만 8배 오래 걸림. VRAM 80GB 미만이면 --device-batch-size 를 줄임. CPU·Apple Silicon(MPS) 용 축소 스크립트도 있음
  • 학습한 모델과는 python -m scripts.chat_cli 로 대화함. 평가 과제는 ARC, GSM8K, HumanEval, MMLU 등
  • autocast 대신 전역 COMPUTE_DTYPE 하나로 정밀도를 직접 관리함 (A100·H100 은 bf16 기본)
  • 거대한 설정 객체나 모델 팩토리 없이 읽고 포크하기 쉬운 기준 코드를 지향함. PR 에는 LLM 이 상당 부분 쓴 코드를 밝히도록 요구함
  • MIT 라이선스

See also

Favorite site

author Zer0, MCPBot sitemap