Experimente
Führen Sie kontrollierte A/B-Tests mit Produktions-Traffic durch, um die Agentenleistung anhand von Daten statt Intuition zu optimieren
Mit Experimenten führen Sie kontrollierte A/B-Tests für jeden Aspekt der Agentenkonfiguration durch — Prompt-Struktur, Workflow-Logik, Stimme, Persönlichkeit, Tools, Wissensdatenbank — indem Sie einen definierten Teil des Traffics an eine Variante leiten, die Auswirkungen auf zentrale Ergebnisse messen und Gewinner in die Produktion übernehmen.
Experimente basieren auf der Agentenversionierung. Die Versionierung muss für Ihren Agenten aktiviert sein, bevor Sie Experimente durchführen können.
Warum experimentieren
Ohne strukturierte Experimente basiert Optimierung auf Intuition. Eine Prompt-Anpassung „fühlt“ sich besser an. Eine Workflow-Anpassung „sollte“ die Containment-Rate verbessern. Ein neuer Eskalationspfad „scheint“ effizienter.
Experimente ersetzen Vermutungen durch Belege. Sie testen Änderungen mit Live-Traffic, messen tatsächliche Ergebnisse und übernehmen, was funktioniert.
So funktioniert es
Experimente folgen einem Workflow in vier Schritten:
Variante erstellen
Beginnen Sie mit Ihrer aktuellen Agentenkonfiguration und erstellen Sie einen neuen Branch. Ändern Sie beliebige Elemente — System-Prompt, Workflow, Stimme, Tools, Wissensdatenbank, Guardrails oder Bewertungskriterien. Jede Änderung wird als versionierte Konfiguration erfasst.
Navigieren Sie in den Agenteneinstellungen zum Tab Branches und klicken Sie auf Branch erstellen.
Traffic leiten
Legen Sie fest, welcher Prozentsatz der Live-Konversationen an Ihre Variante gehen soll. Beginnen Sie klein (5–10 %), um das Risiko zu begrenzen, und erhöhen Sie den Anteil mit wachsendem Vertrauen.
Klicken Sie auf Traffic-Aufteilung bearbeiten und legen Sie die Prozentsätze für jeden Branch fest. Die Prozentsätze müssen zusammen genau 100 % ergeben.
Auswirkungen messen
Vergleichen Sie die Leistung der Variante mit Ihrer Baseline über das Analytics-Dashboard. Klicken Sie im Branches-Bereich auf Analytics anzeigen, um direkt zu einer nach Branch gefilterten Ansicht zu gelangen.
Teams können Ergebnisse messen wie:
- CSAT
- Containment-Rate
- Conversion
- Durchschnittliche Bearbeitungszeit
- Mediane Antwortlatenz des Agenten
- Kosten pro vom Agenten gelöstem Vorgang
Traffic-Routing
Der Traffic wird prozentual zwischen Branches aufgeteilt. Das Routing ist anhand der Konversations-ID deterministisch, sodass derselbe Nutzer über Sitzungen hinweg immer denselben Branch erreicht.
Standardmäßig wird der Traffic über die Nutzerbasis hinweg zufällig verteilt. Wenn Sie die API zum Starten von Konversationen verwenden, können Sie bestimmte Kohorten an bestimmte Branches leiten, indem Sie steuern, welche Konversationen mit welcher Branch-Konfiguration gestartet werden.
Alle Traffic-Prozentsätze müssen zusammen genau 100 % ergeben. Ein Deployment schlägt fehl, wenn dies nicht der Fall ist.
Anwendungsfälle
Experimente unterstützen die kontinuierliche Optimierung kundenorientierter und operativer Workflows.
Jedes Experiment ist an eine bestimmte Agentenversion gebunden, sodass jede Leistungsänderung einer definierten Konfigurationsänderung zugeordnet werden kann.
Was Sie testen können
Jeder Aspekt der Agentenkonfiguration kann zwischen Branches variieren:
Best Practices
Mit einer Hypothese beginnen
Definieren Sie vor dem Erstellen einer Variante, was Sie verbessern möchten und wie Sie es messen. Zum Beispiel: „Wenn wir den Eskalations-Prompt um eine Zusammenfassung des Problems ergänzen, verbessert sich unser Bewertungskriterium für die Lösungsrate um 10 %.“
Eine Änderung nach der anderen
Das Isolieren einer einzelnen Variable macht klar, was Leistungsunterschiede verursacht hat. Wenn Sie Prompt, Stimme und Workflow gleichzeitig ändern, wissen Sie nicht, welche Änderung das Ergebnis bewirkt hat.
Bewertungskriterien zuerst einrichten
Konfigurieren Sie Kriterien für die Erfolgsbewertung, bevor Sie Experimente durchführen. Sie liefern die strukturierten Metriken, die Sie benötigen, um Varianten objektiv zu vergleichen.
Mit kleinen Traffic-Anteilen beginnen
Starten Sie mit 5–10 % des Traffics für die Variante. Das begrenzt die Auswirkung, falls etwas schiefläuft, und liefert dennoch aussagekräftige Daten.
Experimenten ausreichend Zeit geben
Lassen Sie ausreichend Konversationen zusammenkommen, bevor Sie Schlussfolgerungen ziehen. Kleine Stichproben führen zu unzuverlässigen Ergebnissen. Überwachen Sie das Analytics-Dashboard und warten Sie, bis sich Trends stabilisieren.
Experimente kurz halten
Mergen oder verwerfen Sie Experimente zeitnah. Lang laufende Branches lassen sich schwerer mergen und können von der Hauptkonfiguration abweichen.