LiteLLM

Обзор

Что такое LiteLLM?

LiteLLM — это шлюз LLM (прокси-сервер OpenAI), предназначенный для управления аутентификацией, балансировкой нагрузки и отслеживанием расходов в более чем 100 LLM, сохраняя при этом формат OpenAI. Это упрощает процесс использования API-интерфейсов LLM от различных поставщиков, таких как OpenAI, Azure, Cohere, Anthropic, Replication и Google. LiteLLM предлагает согласованные выходные данные и исключения для всех API LLM, а также ведение журнала и отслеживание ошибок для всех моделей. Он предоставляет такие функции, как отслеживание затрат, API пакетов, ограждения, доступ к модели, бюджеты, наблюдаемость LLM, ограничение скорости, управление подсказками, ведение журнала S3 и сквозные конечные точки.