NanoChat

$100로 구매할 수 있는 최고의 ChatGPT

About

Andrej karpathy의 nanochat은 $100 예산으로 ChatGPT와 유사한 대화형 LLM을 직접 구축할 수 있는 오픈소스 프로젝트임
전체 파이프라인(토크나이즈, 사전학습, 미드트레이닝, 파인튜닝, 평가, 추론, 웹 서비스)이 간결하고 해커블하게 구현되어 있음
8XH100 GPU 노드 한 대에서 스크립트 하나로 4시간 내에 학습 완료되며, GPT-2 수준의 성능을 목표로 하는 d26 모델은 약 300달러에 12시간, 1000달러 티어는 41.6시간 소요
330KB 크기의 8,300줄, 44개 파일로 구성된 극도로 간결한 코드베이스로, 복잡한 설정 객체나 모델 팩토리 없이 읽기 쉽고 포크하기 쉬운 강력한 베이스라인 제공
Eureka Labs의 LLM101n 과정의 캡스톤 프로젝트로 개발 중이며, 1000달러 미만 예산으로 접근 가능한 마이크로 모델의 최첨단 수준을 개선하는 것이 목표