概覽
LiteLLM 是什麼？
LiteLLM 是 LLM 網關（OpenAI 代理程式），旨在管理 100 多個 LLM 的身份驗證、負載平衡和支出跟踪，同時保持 OpenAI 格式。它簡化了使用 OpenAI、Azure、Cohere、Anthropic、Replicate 和 Google 等各種供應商的 LLM API 的過程。 LiteLLM 為所有 LLM API 提供一致的輸出和異常，以及所有模型的日誌記錄和錯誤追蹤。它提供了成本追蹤、批量 API、護欄、模型存取、預算、LLM 可觀察性、速率限制、提示管理、S3 日誌記錄和直通端點等功能。
標籤
主要功能
- 100 多個 LLM 的 LLM 網關
- OpenAI 相容 API
- 成本追蹤與預算管理
- 法學碩士後備課程
- 負載平衡
- 速率限制
- 及時管理
- 日誌記錄和錯誤追蹤
如何使用 LiteLLM？
透過使用 chatGPT 格式呼叫 LLM API 來使用 LiteLLM - 完成（模型，訊息）。它為所有 LLM API 提供一致的輸出和例外。您可以部署 LiteLLM 開源版或嘗試 LiteLLM Enterprise 以取得更多功能。
替代工具
未找到替代工具
優點 & 缺點
暫無資料
使用場景
- 為開發人員提供多個法學碩士的機會
- 管理不同 LLM 提供者的支出
- 實施 LLM 後備措施以提高可靠性
- 標準化整個組織的 LLM API 訪問
LiteLLM 價格
免費方案訂閱方案
暫無詳細定價資訊
用戶評價
1.0
滿分5分
1.0
暫無評價
成為第一個評價此工具的使用者！