Nano-llama31

lastmod 2024-08-16created 2024-08-161 edits

nanoGPT 스타일의 Llama 3.1 버전

Features

• Andrej karpathy가 구현한 nanoGPT 스타일의 Llama 3.1 버전
• 의존성이 없는 최소한의 Llama 3.1 아키텍처 구현체로 매우 간단하게 훈련, 미세 조정 및 추론 가능
  • Meta, HuggingFace 구현체보다 의존성이 적고 코드가 작음
• 현재 Llama 3.1의 8B 기본 모델에 중점을 둠
• WIP: 아직 개발중이며 완성된 것은 아님

See also

• LLaMA
• Llama 3.1

Favorite site

• Github - karpathy/nano-llama31