TimeCapsuleLLM
lastmod 2026-11-16created 2026-01-163 edits
TimeCapsuleLLM은 Hayk Grigorian 이 시작한 역사 언어 모델 연구 프로젝트로, 1800~1875년 런던에서 나온 글만으로 언어 모델을 처음부터 학습한다. 현대 데이터로 사전학습한 모델을 미세조정하면 옛날 말투를 흉내 낼 뿐 현대 지식이 남아 있으므로, 처음부터 그 시대 자료만으로 학습해 당시의 어휘와 세계관을 그대로 담는 것이 목표이다. 지금은 Muhlenberg College, Georgia State University 연구자들과 함께 진행한다.
About
- 특정 시기의 데이터만 골라 학습하는 방식을 Selective Temporal Training(STT)이라 부름
- 학습 데이터는 1800~1875년 런던의 퍼블릭 도메인 책, 법률 문서, 신문 등. Project Gutenberg 머리말·꼬리말, 현대 주석, OCR 오류는 걷어 냄
- 버전별 구조: v0·v0.5 는 nanoGPT, v1 은 Microsoft Phi 1.5, v2 는 LlamaForCausalLM 구조
- 모델 크기는 v0 16M, v0.5 123M, v1 700M, v2 1.2B 파라미터. 데이터는 v0 약 187MB 에서 v2 90GB(문서 136,344개)까지 늘어남
- v0 은 문장이 거의 말이 안 됐고, v0.5 는 빅토리아 시대 문체를 냈지만 사실 환각과 "Digitized by Google" 같은 OCR 잡음이 남음. v1 은 1834년 런던의 항의 시위처럼 실제 사건과 인물을 연결해 냄
- v2 데이터셋은 Hugging Face 에 공개함. 다음 버전 v3 는 데이터와 지역을 런던 밖 도시로 넓힐 계획
- 저장소에는 데이터 정리와 토크나이저 학습 스크립트가 있고, 모델 학습 과정은 nanoGPT 를 참고하라고 안내함
- MIT 라이선스