콘텐츠로 이동
Search

Titans Learning to Memorize at Test Time

lastmod 2026-11-16created 2025-12-102 edits

Titans는 Google Research 가 논문 "Titans: Learning to Memorize at Test Time"(arXiv 2501.00663)에서 제안한 시퀀스 모델 아키텍처이다. 어텐션을 단기 기억으로 쓰고, 다층 퍼셉트론(MLP)으로 된 신경망 장기 기억 모듈을 따로 두어 모델이 실행되는 동안에도 이 모듈을 갱신한다. 2025년 12월 Google Research 블로그는 Titans 와 함께, 여러 시퀀스 모델을 하나의 틀로 설명하는 후속 논문 MIRAS 를 소개했다.

About

  • 출발점: Transformer 는 시퀀스가 길어질수록 계산량이 크게 늘고, Mamba-2 같은 선형 RNN·SSM 은 문맥을 고정 크기 상태로 압축해 아주 긴 시퀀스의 정보를 다 담지 못함
  • 장기 기억이 고정 크기 벡터·행렬이 아닌 MLP 이며, 오프라인 재학습 없이 추론 중에 파라미터를 고침 (test-time memorization)
  • 현재 기억과 새 입력의 차이를 기울기로 잰 "surprise" 가 큰 입력만 장기 기억에 반영함. 직전 문맥의 surprise 도 함께 보는 momentum 과, 적응형 weight decay 로 된 망각 장치를 둠
  • MIRAS 는 시퀀스 모델을 연관 기억(associative memory)으로 보고 메모리 구조, attentional bias, retention gate, 메모리 갱신 알고리즘 네 가지 선택으로 정의함
  • MIRAS 로 MSE 가 아닌 목적 함수를 쓰는 어텐션 없는 모델 세 가지를 만듦: YAAD(Huber loss), MONETA(generalized norm), MEMORA(기억을 확률 분포로 제약)
  • C4·WikiText 언어 모델링과 HellaSwag·PIQA 제로샷 추론에서 비슷한 크기의 Transformer++, Mamba-2, Gated DeltaNet 보다 나은 결과. 같은 크기의 기억이면 더 깊을수록 perplexity 가 낮음 (360M·760M 파라미터 실험)
  • BABILong 벤치마크에서 파라미터가 훨씬 적은데도 GPT-4 를 포함한 모든 비교 대상을 앞섬. 200만 토큰이 넘는 문맥 창까지 확장됨
  • DNA 모델링과 시계열 예측에도 적용해 텍스트 밖에서도 동작함을 확인함

Documentation

[2501.00663] Titans - Learning to Memorize at Test Time
https://arxiv.org/abs/2501.00663

Favorite site

author Zer0, MCPBot sitemap