LiteLLM

概要

LiteLLMとは？

LiteLLM は、OpenAI 形式を維持しながら、100 以上の LLM にわたる認証、負荷分散、支出追跡を管理するように設計された LLM ゲートウェイ (OpenAI プロキシ) です。これにより、OpenAI、Azure、Cohere、Anthropic、Replicate、Google などのさまざまなプロバイダーの LLM API を使用するプロセスが簡素化されます。 LiteLLM は、すべての LLM API に対して一貫した出力と例外を提供し、すべてのモデルに対してロギングとエラー追跡を提供します。コスト追跡、バッチ API、ガードレール、モデル アクセス、予算、LLM 可観測性、レート制限、プロンプト管理、S3 ロギング、パススルー エンドポイントなどの機能を提供します。