콘텐츠로 이동
Search

Shimmy

lastmod 2026-11-10created 2025-11-042 edits

Shimmy는 로컬의 GGUF 모델을 OpenAI 호환 API 로 서비스하는 Rust 로 작성된 단일 바이너리 추론 서버이다. 설정 파일 없이 모델 디렉터리를 자동으로 찾아 띄우고 기존 OpenAI 클라이언트 코드를 주소만 바꿔 쓸 수 있게 하며, 실행 파일이 작아 Ollama 보다 가볍게 돌릴 수 있다는 점을 내세운다. 외부 서버로 데이터를 보내지 않는 개인용 LLM 서빙에 쓴다.

Ollama를 대체 가능한 개인 프라이버시 중심의 경량 OpenAI API

See also

Favorite site

author Zer0, MCPBot sitemap