LLM कैस्केडिंग

खास जानकारी

Agents Platform अपनी टेक्स्ट जनरेशन क्षमताओं की विश्वसनीयता और लचीलापन बढ़ाने के लिए LLM कैस्केडिंग मैकेनिज़्म का उपयोग करता है। अगर कॉन्फ़िगर किया गया मुख्य Large Language Model (LLM) विफल हो जाता है, तो यह सिस्टम अपने आप बैकअप LLMs का उपयोग करने की कोशिश करता है, जिससे यूज़र अनुभव अधिक सहज और सुसंगत रहता है।

विफलताओं में API त्रुटियां, टाइमआउट या LLM प्रोवाइडर से खाली जवाब शामिल हो सकते हैं। कैस्केड लॉजिक इन स्थितियों को सहजता से संभालता है।

यह कैसे काम करता है

कैस्केडिंग प्रक्रिया एक तय क्रम का पालन करती है:

1. पसंदीदा LLM का प्रयास: सिस्टम पहले एजेंट के कॉन्फ़िगरेशन में चुने गए LLM से जवाब जनरेट करने की कोशिश करता है।

2. बैकअप LLM क्रम: पसंदीदा LLM विफल होने पर, सिस्टम अपने आप पहले से तय बैकअप LLMs के क्रम पर फ़ॉलबैक करता है। यह क्रम मॉडल के प्रदर्शन, गति और विश्वसनीयता के आधार पर तैयार किया गया है। मौजूदा डिफ़ॉल्ट क्रम (जो बदल सकता है) यह है:

   1. Gemini 2.5 Flash
   2. GPT-4o
   3. Gemini 2.5 Flash Lite
   4. Claude Sonnet 4.5

3. HIPAA अनुपालन: अगर एजेंट सख्त डेटा प्राइवेसी (HIPAA अनुपालन / ज़ीरो डेटा रिटेंशन) की ज़रूरत वाले मोड में काम करता है, तो बैकअप सूची को फ़िल्टर करके ऊपर दिए क्रम में से सिर्फ़ अनुपालक मॉडल्स शामिल किए जाते हैं।

4. पुनः प्रयास: सिस्टम उपलब्ध LLMs (पसंदीदा + बैकअप) के क्रम में जनरेशन प्रक्रिया को कई बार (कम से कम 3 प्रयास) दोहराता है। अगर कोई बैकअप LLM भी विफल हो जाता है, तो यह क्रम में अगले LLM पर जाता है। अगर पुनः प्रयास की सीमा के भीतर अलग-अलग बैकअप LLMs समाप्त हो जाते हैं, तो यह पहले विफल हो चुके बैकअप मॉडल्स को फिर से आज़मा सकता है।

5. लेज़ी इनिशियलाइज़ेशन: बैकअप LLM कनेक्शंस केवल ज़रूरत पड़ने पर इनिशियलाइज़ होते हैं, जिससे रिसोर्स का उपयोग बेहतर होता है।

कस्टम LLMs

जब आप कस्टम LLM कॉन्फ़िगर करते हैं, तो अन्य मॉडल्स पर जाने वाली मानक कैस्केडिंग लॉजिक को बायपास कर दिया जाता है। सिस्टम आपके बताए गए कस्टम LLM का उपयोग करने की कोशिश करेगा।

आपका कस्टम LLM विफल होने पर, सिस्टम अनुरोध को विफल मानने से पहले उसी कस्टम LLM के साथ कई बार फिर से आज़माएगा (मानक न्यूनतम पुनः प्रयास संख्या के अनुरूप)। यह ElevenLabs द्वारा होस्ट किए गए मॉडल्स पर फ़ॉलबैक नहीं करेगा, जिससे आपके खास कॉन्फ़िगरेशन का सम्मान होता है।

फ़ायदे

• ज़्यादा विश्वसनीयता: किसी खास LLM प्रोवाइडर से जुड़ी अस्थायी समस्याओं का असर कम करता है।
• बेहतर उपलब्धता: आंशिक LLM आउटेज के दौरान भी जवाब सफलतापूर्वक जनरेट होने की संभावना बढ़ाता है।
• सहज संचालन: फ़ॉलबैक मैकेनिज़्म अपने आप काम करता है और एंड यूज़र को दिखाई नहीं देता।

कॉन्फ़िगरेशन

LLM कैस्केडिंग एक ऑटोमैटिक बैकग्राउंड प्रक्रिया है। बस एजेंट की सेटिंग्स में अपना पसंदीदा LLM चुनना ज़रूरी है। बेहतर प्रदर्शन सुनिश्चित करने के लिए बाकी काम सिस्टम संभालता है।