LiteLLM

Aperçu

Qu'est-ce que LiteLLM ?

LiteLLM est une passerelle LLM (OpenAI Proxy) conçue pour gérer l'authentification, l'équilibrage de charge et le suivi des dépenses sur plus de 100 LLM, tout en conservant le format OpenAI. Il simplifie le processus d'utilisation des API LLM de divers fournisseurs comme OpenAI, Azure, Cohere, Anthropic, Replicate et Google. LiteLLM offre des sorties et des exceptions cohérentes pour toutes les API LLM, ainsi qu'une journalisation et un suivi des erreurs pour tous les modèles. Il fournit des fonctionnalités telles que le suivi des coûts, l'API des lots, les garde-fous, l'accès aux modèles, les budgets, l'observabilité LLM, la limitation du débit, la gestion des invites, la journalisation S3 et les points de terminaison d'intercommunication.