LiteLLM

LiteLLM serve como um robusto gateway para desenvolvedores acessarem mais de 100 grandes modelos de linguagem (LLMs) enquanto mantêm controle total sobre o uso e registro dos modelos. Com suporte para o formato OpenAI, esta ferramenta permite integração e gerenciamento sem costura de vários LLMs, como Azure, Gemini, Bedrock e o próprio OpenAI. Uma das características de destaque inclui registro abrangente e rastreamento de uso, que pode ser direcionado para plataformas como S3, Datadog e OTEL, garantindo que os desenvolvedores possam monitorar suas interações com a API de forma eficaz.

Além do registro, o LiteLLM fornece controle avançado sobre o acesso aos modelos através de chaves virtuais, permitindo que as equipes gerenciem permissões facilmente. Os usuários podem definir orçamentos e limites de taxa por modelo, facilitando o gerenciamento de custos dentro dos projetos. O portal de autoatendimento da plataforma capacita as equipes a gerenciarem suas próprias chaves e configurações de acesso, promovendo eficiência e flexibilidade nos fluxos de trabalho de desenvolvimento. Os casos de uso para o LiteLLM incluem migrações rápidas de projetos via endpoints de passagem e desenvolvimento de aplicações que requerem interações diversificadas com modelos de linguagem sem comprometer o controle ou a supervisão.

Open Source:
- Acesso auto-hospedado
- Integrações com mais de 100 provedores de LLM
- Gerenciamento de chaves virtuais, orçamentos e equipes
- $0/mês

Enterprise Basic:
- Nuvem ou auto-hospedado
- Tudo em Open Source
- Opções de suporte aprimoradas
- Preço personalizado

Enterprise Premium:
- Nuvem ou auto-hospedado
- Tudo em Enterprise Basic
- Suporte empresarial com SLAs personalizados
- Autenticação JWT, SSO e registros de auditoria
- Preço personalizado