LiteLLM

अवलोकन

LiteLLM क्या है?

लाइटएलएलएम एक एलएलएम गेटवे (ओपनएआई प्रॉक्सी) है जिसे ओपनएआई प्रारूप को बनाए रखते हुए प्रमाणीकरण, लोड संतुलन और 100+ एलएलएम में ट्रैकिंग का प्रबंधन करने के लिए डिज़ाइन किया गया है। यह ओपनएआई, एज़्योर, कोहेयर, एंथ्रोपिक, रेप्लिकेट और गूगल जैसे विभिन्न प्रदाताओं से एलएलएम एपीआई का उपयोग करने की प्रक्रिया को सरल बनाता है। लाइटएलएलएम सभी मॉडलों के लिए लॉगिंग और त्रुटि ट्रैकिंग के साथ-साथ सभी एलएलएम एपीआई के लिए लगातार आउटपुट और अपवाद प्रदान करता है। यह लागत ट्रैकिंग, बैच एपीआई, रेलिंग, मॉडल एक्सेस, बजट, एलएलएम अवलोकन, दर सीमित करना, त्वरित प्रबंधन, एस 3 लॉगिंग और पास-थ्रू एंडपॉइंट जैसी सुविधाएं प्रदान करता है।