LiteLLM

نظرة عامة

ما هو LiteLLM؟

LiteLLM عبارة عن بوابة LLM (OpenAI Proxy) مصممة لإدارة المصادقة وموازنة التحميل وتتبع الإنفاق عبر أكثر من 100 LLM، كل ذلك مع الحفاظ على تنسيق OpenAI. إنه يبسط عملية استخدام LLM APIs من موفري خدمات مختلفين مثل OpenAI وAzure وCohere وAnthropic وReplicate وGoogle. تقدم LiteLLM مخرجات واستثناءات متسقة لجميع واجهات برمجة تطبيقات LLM، إلى جانب التسجيل وتتبع الأخطاء لجميع النماذج. وهو يوفر ميزات مثل تتبع التكلفة، وواجهة برمجة تطبيقات الدفعات، وحواجز الحماية، والوصول إلى النموذج، والميزانيات، وإمكانية مراقبة LLM، وتحديد المعدل، والإدارة السريعة، وتسجيل S3، ونقاط النهاية التمريرية.