LiteRT-LM
구글의 엣지 디바이스용 고성능 LLM 추론 프레임워크
About
- 구글이 만든 프로덕션 수준의 온디바이스 LLM 추론 엔진으로, Android·iOS·웹·데스크톱·IoT(Raspberry Pi) 등 엣지 환경 전반에서 대규모 언어 모델 실행 가능
- 최신 Gemma 4 모델 지원도 추가, GPU·NPU 하드웨어 가속을 통해 엣지 디바이스에서도 최적 추론 성능 제공
- 멀티모달 지원으로 비전(이미지)·오디오 입력 처리 가능하며, CLI에서 --attachment 옵션으로 이미지 첨부 추론도 지원
- 에이전틱 워크플로우를 위한 Function Calling(Tool Use) 내장
- Gemma, Llama, Phi-4, Qwen 등 다양한 LLM 모델 호환, 한 줄 CLI 명령어로 Hugging Face에서 모델 다운로드 후 즉시 추론 가능
-
uv tool install litert-lm→litert-lm run으로 바로 시작
-