콘텐츠로 이동
Search

Pocket TTS

lastmod 2026-11-16created 2026-01-193 edits

Pocket TTS는 Kyutai가 2026년 1월 공개한 음성 복제 기능이 있는 텍스트 음성 변환(TTS) 모델이다. GPU 가 필요한 1B 안팎의 LLM 기반 TTS 와 목소리가 고정된 Kokoro 같은 소형 모델 사이를 노리고, 생성 모델과 코덱 디코더를 합쳐 100M 파라미터로 노트북 CPU 에서 실시간보다 빠르게 음성을 만든다. 오디오를 이산 토큰 대신 연속 잠재 벡터로 예측하는 CALM(Continuous Audio Language Models) 방법을 바탕으로 한다.

About

  • 약 5초 분량의 음성 샘플로 목소리의 음색, 감정, 억양, 리듬과 잔향·마이크 같은 녹음 환경까지 따라 함
  • 첫 오디오 조각까지 약 200ms, MacBook Air M4 CPU 에서 실시간의 약 6배 속도. CPU 코어 2개만 쓰고 스트리밍 출력 지원
  • uvx pocket-tts generate, uvx pocket-tts serve 로 CLI·로컬 서버 실행. Python API 도 제공하고 PyTorch 는 CPU 판으로 충분함
  • 처음 공개 때는 영어만 지원했고, 이후 프랑스어·독일어·포르투갈어·이탈리아어·스페인어·네덜란드어 모델과 1.9M~18.2M 파라미터 소형 영어 모델이 추가됨
  • Rust 포트와 WebAssembly·ONNX 구현이 있어 브라우저에서도 돌릴 수 있음
  • 공개 영어 데이터셋만으로 학습했으며 MIT 라이선스로 공개

Pocket TTS 개요

  • 아래 내용은 Kyutai 의 공개 글(2026-01-13) 기준
  • 저자는 Manu Orsini, Simon Rouard, Gabriel De Marmiesse, Václav Volhejn, Neil Zeghidour, Alexandre Défossez

기존 TTS 모델과의 비교

  • Kyutai TTS 1.6B 같은 LLM 기반 모델은 어떤 목소리와 감정도 다루지만 GPU 없이는 무겁고, Kokoro 는 고정된 목소리 세트와 텍스트를 음소로 바꾸는 수작업 파이프라인으로 작게 만든 대신 유연성이 떨어짐

성능 평가

  • LibriSpeech test-clean 을 Adobe Enhance Speech 로 정제한 24kHz 오디오로 평가. WER 은 Whisper-large-v3 로 재고, 오디오 품질·화자 유사도는 사람의 쌍대 비교(ELO)로 매김
  • Pocket TTS 는 WER 이 가장 낮고(Kyutai TTS 1.6B 와 같은 1.84) 오디오 품질은 원본 음성보다 높게 평가됨. Intel Core Ultra 7 165H, Apple M3 CPU 에서 실시간으로 도는 것은 Pocket TTS 와 Kokoro 뿐이었음

모델

파라미터 수(생성 모델)

WER ↓

오디오 품질(ELO) ↑

화자 유사도(ELO) ↑

CPU 실시간 실행

F5-TTS

336M

2.21

1949 ± 27

1946 ± 26

✗

Kyutai TTS 1.6B

750M

1.84

1959 ± 25

2037 ± 21

✗

Chatterbox Turbo

350M

3.24

2055 ± 23

2012 ± 22

✗

Kokoro

82M

1.93

음성 복제 없음

음성 복제 없음

✓

Pocket TTS

100M

1.84

2016 ± 25

1898 ± 26

✓

아키텍처

  • 이전 Kyutai TTS 는 백본 뒤에 RQ-transformer 로 이산 오디오 토큰을 뽑았는데, 모델을 줄이면 이 부분이 병목이 됨. Pocket TTS 는 연속 잠재 벡터를 직접 예측해 이를 없앰

Neural Audio Codec

  • Mimi 코덱 구조를 따르되 이산 토큰 대신 정규분포로 정규화한 연속 잠재(VAE 방식)를 씀. RVQ 가 없으므로 WavLM 증류 손실을 잠재 전체에 적용함

Generative Model

  • MAR(Masked Autoregressive) 구조처럼 causal transformer 백본이 MLP 샘플러를 조건화함. 샘플러는 확산 모델 대신 LSD(Lagrangian Self-Distillation) 손실로 1-step 샘플링을 함

음성 및 텍스트 조건화

  • 몇 초짜리 음성 프롬프트(코덱 인코더)와 읽을 텍스트(SentencePiece)를 생성할 오디오 앞에 붙임

모델 크기 구성

  • 생성 모델 90M + 코덱 디코더 10M = 100M. 18M 코덱 인코더는 음성 샘플을 한 번 인코딩할 때만 쓰고, 그 임베딩을 메모리에 두고 재사용함

학습 데이터

  • AMI, EARNINGS22, GIGASpeech, SPGISpeech, TED-LIUM, VoxPopuli, LibriHeavy, Emilia 등 공개 영어 데이터 총 88k 시간

주요 기술 기여

Head Batch Multiplier

  • 백본 출력 z 를 한 번 계산해 서로 다른 노이즈로 여러 번 손실을 계산함. 학습 효율이 오르고 손실 평균으로 학습도 안정됨

Gaussian Temperature Sampling

  • 연속 공간에서 가우시안 노이즈의 분산을 줄이는 방식으로 온도 샘플링을 흉내 냄. 실제로는 온도 0.7 이 좋았음

Latent Classifier-Free Guidance (Latent CFG)

  • 1-step 모델에는 출력 공간 CFG 를 쓸 수 없어, 조건부·무조건부 백본 출력 z 를 섞어 헤드에 넣음. 분포를 벗어날 수 있는데도 품질이 크게 올랐다고 함

Distillation

  • CFG 를 쓴 24층 교사 모델의 z 를 L2 손실로 따라 하도록 6층 학생 모델을 증류해, 배치를 두 배로 늘리지 않고 같은 효과를 냄

See also

Favorite site

author Zer0, MCPBot sitemap