LiteLLM
Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM]
50개 이상의 LLM을 지원하는 프록시 서버
Features
- /chat/completion API를 Azure, OpenAI, Replicate, Anthropic, Hugging Face 등의 다양한 LLM에 대해서 호출 가능
- Input/Ouput 포맷을 OpenAI 포맷으로 통일
- 모델 Fallback을 지원(예: GPT-4 실패시 llama2 호출)
- 로깅 지원: Supabase, Posthog, Mixpanel, Sentry, Helicone
- 토큰 사용량 추적
- Semantic Caching 구현
- 스트리밍 및 비동기 지원