LiteLLM

LiteLLM sert de passerelle robuste pour les développeurs afin d'accéder à plus de 100 grands modèles de langage (LLMs) tout en maintenant un contrôle complet sur l'utilisation et la journalisation des modèles. Avec le support du format OpenAI, cet outil permet une intégration et une gestion sans faille de divers LLMs tels qu'Azure, Gemini, Bedrock et OpenAI lui-même. L'une des caractéristiques remarquables inclut une journalisation complète et un suivi de l'utilisation, qui peuvent être dirigés vers des plateformes comme S3, Datadog et OTEL, garantissant que les développeurs peuvent surveiller efficacement leurs interactions avec l'API.

En plus de la journalisation, LiteLLM fournit un contrôle avancé sur l'accès aux modèles via des clés virtuelles, permettant aux équipes de gérer facilement les autorisations. Les utilisateurs peuvent définir des budgets et des limites de taux sur une base par modèle, facilitant la gestion des coûts au sein des projets. Le portail en libre-service de la plateforme permet aux équipes de gérer leurs propres clés et configurations d'accès, favorisant l'efficacité et la flexibilité dans les flux de travail de développement. Les cas d'utilisation de LiteLLM incluent des migrations rapides de projets via des points de terminaison de passage et le développement d'applications nécessitant des interactions diversifiées avec des modèles de langage sans compromettre le contrôle ou la supervision.

Open Source:
- Accès auto-hébergé
- Intégrations de 100+ fournisseurs de LLM
- Gestion des clés virtuelles, des budgets et des équipes
- 0 $/mois

Enterprise Basic:
- Cloud ou auto-hébergé
- Tout ce qui est dans Open Source
- Options de support améliorées
- Tarification personnalisée

Enterprise Premium:
- Cloud ou auto-hébergé
- Tout ce qui est dans Enterprise Basic
- Support entreprise avec SLA personnalisés
- Authentification JWT, SSO et journaux d'audit
- Tarification personnalisée