콘텐츠로 이동
Search

Tokuin

lastmod 2026-11-16created 2026-01-263 edits

Tokuin은 Rust로 만든 LLM 토큰 수·API 비용 추정 명령줄 도구이다. 프롬프트를 모델별 토크나이저로 세고 단가표로 비용을 계산한다. v0.2.0 부터는 프롬프트를 자체 Hieratic 형식으로 줄이는 압축 기능과 LLM API 부하 테스트 기능도 들어 있다.

About

  • 표준 입력이나 파일을 받아 tokuin prompt.txt --model gpt-4 --price 처럼 토큰 수와 비용을 출력함. --compare 로 여러 모델 비교, --breakdown 으로 역할별 분해, JSON·Markdown 출력
  • --diff 로 두 프롬프트 파일의 토큰 차이를 비교하고, --watch 로 파일이 바뀔 때마다 다시 계산함
  • 토크나이저는 OpenAI(tiktoken-rs 기반)와 Gemini 를 지원. 단가는 내장 표를 쓰고 TOML 파일로 덮어쓸 수 있음
  • tokuin compress 는 프롬프트를 @ROLE, @TASK 같은 태그로 줄인 Hieratic 형식으로 압축함. light 30~50%, medium 50~70%, aggressive 70~90% 단계가 있고, LLM 이 별도 복원 없이 그대로 읽음
  • --quality 는 의미 유사도·핵심 지시 보존율 등을 점수로 보여 줌. 임베딩 기반 점수는 ONNX Runtime 이 필요해 Linux x86_64 와 Apple Silicon 배포판에만 들어 있고, 나머지는 키워드 기반 점수로 대신함
  • --llm-judge 는 원본 프롬프트와 압축 프롬프트의 응답을 판정 모델에 비교시킴. 50토큰 미만의 짧은 프롬프트나 법률·의료처럼 문구가 중요한 프롬프트에는 압축이 맞지 않는다고 README 에 밝힘
  • load-test 명령으로 OpenAI·Anthropic·OpenRouter API 에 동시 요청을 보내 지연 시간(p50/p95)과 비용을 측정함. --dry-run 이면 호출 없이 비용만 추정
  • macOS·Linux·Windows 바이너리 제공. MIT 또는 Apache-2.0 라이선스

See also

Favorite site

author Zer0, MCPBot sitemap