Cascata di LLM

Scopri come Agents Platform garantisce risposte LLM affidabili usando un meccanismo di fallback a cascata.

Panoramica

Agents Platform utilizza un meccanismo a cascata di LLM per migliorare l’affidabilità e la resilienza delle funzionalità di generazione del testo. Se l’LLM principale configurato non riesce a rispondere, il sistema tenta automaticamente di usare Large Language Model (LLM) di backup, per offrire un’esperienza utente più fluida e coerente.

Gli errori possono includere errori API, timeout o risposte vuote dal provider LLM. La logica a cascata gestisce queste situazioni in modo efficace.

Come funziona

Il processo a cascata segue una sequenza definita:

Tentativo con l’LLM preferito: il sistema tenta innanzitutto di generare una risposta usando l’LLM selezionato nella configurazione dell’agente.
Sequenza di LLM di backup: se l’LLM preferito non riesce a rispondere, il sistema passa automaticamente a una sequenza predefinita di LLM di backup. Questa sequenza è curata in base a prestazioni, velocità e affidabilità dei modelli. La sequenza predefinita attuale, soggetta a modifiche, è:
1. Gemini 2.5 Flash
2. GPT-4o
3. Gemini 2.5 Flash Lite
4. Claude Sonnet 4.5
Conformità HIPAA: se l’agente opera in una modalità che richiede una rigorosa privacy dei dati (conformità HIPAA / conservazione zero dei dati), l’elenco di backup viene filtrato per includere solo i modelli conformi della sequenza precedente.
Nuovi tentativi: il sistema riprova più volte il processo di generazione, almeno 3 tentativi, nella sequenza degli LLM disponibili (preferito + backup). Se anche un LLM di backup non riesce a rispondere, passa al successivo nella sequenza. Se esaurisce gli LLM di backup univoci entro il limite di tentativi, può riprovare modelli di backup che in precedenza non erano riusciti a rispondere.
Inizializzazione differita: le connessioni agli LLM di backup vengono inizializzate solo quando necessario, ottimizzando l’uso delle risorse.

L’elenco specifico e l’ordine degli LLM di backup sono gestiti internamente da ElevenLabs e ottimizzati per prestazioni e disponibilità. La sequenza elencata sopra rappresenta l’impostazione predefinita attuale, ma può essere aggiornata senza preavviso.

LLM personalizzati

Quando configuri un LLM personalizzato, la logica a cascata standard verso altri modelli viene bypassata. Il sistema tenterà di usare l’LLM personalizzato specificato.

Se il tuo LLM personalizzato non riesce a rispondere, il sistema riproverà la richiesta più volte con lo stesso LLM personalizzato, rispettando il numero minimo standard di tentativi, prima di considerare la richiesta non riuscita. Non passerà ai modelli forniti da ElevenLabs, garantendo il rispetto della tua configurazione specifica.

Vantaggi

Maggiore affidabilità: riduce l’impatto di problemi temporanei con uno specifico provider LLM.
Maggiore disponibilità: aumenta la probabilità di generare correttamente una risposta anche durante interruzioni parziali degli LLM.
Funzionamento senza interruzioni: il meccanismo di fallback è automatico e trasparente per l’utente finale.

Configurazione

La cascata di LLM è un processo automatico in background. L’unica configurazione necessaria è selezionare il tuo LLM preferito nelle impostazioni dell’agente. Il sistema gestisce il resto per garantire prestazioni affidabili.