Analysen

Verfolgen Sie die Agentenleistung, vergleichen Sie Experimente und identifizieren Sie Optimierungsmöglichkeiten in Ihrem gesamten Workspace

Überblick

Das Analytics-Dashboard liefert detaillierte Echtzeitmetriken für Ihre Gesprächsagenten. Sie können die Performance nach mehreren Dimensionen aufschlüsseln — nach Agent, Branch, Zeitraum, Sprache, Anruftyp, Modell und mehr — und so genau verstehen, wie Ihre Agenten im Produktionseinsatz abschneiden.

Die Analysedaten basieren auf einer leistungsstarken spaltenorientierten Datenbank. Das ermöglicht schnelle Abfragen großer Mengen an Gesprächsdaten mit flexibler Filterung und Gruppierung.

Für Themen auf Gesprächsebene nutzen Sie Spotlight, um Echtzeit-Insights, Stimmungsanalysen, Themenerkennung und die Gespräche hinter jedem Thema zu prüfen.

Analytics aufrufen

Navigieren Sie im Dashboard Ihrer Agenten zum Tab Analytics. Sie können Metriken für Ihren gesamten Workspace anzeigen oder auf einen bestimmten Agenten filtern.

Tab „Allgemein“ im Analytics-Dashboard mit Anzahl der Anrufe, durchschnittlicher Dauer, Gesamtkosten und
Anrufvolumen im Zeitverlauf

Bei Experimenten können Sie über die Schaltfläche Analytics anzeigen auf der Agentenkonfigurationsseite direkt zu nach Branch gefilterten Analytics springen. Dadurch werden die Filter für Agent und Branch vorausgewählt, sodass Sie die Performance von Varianten sofort vergleichen können.

Zeitraum und Granularität

Wählen Sie den Zeitraum für Ihre Analyse über die Datumsauswahl oben im Dashboard. Sie können aus vordefinierten Zeiträumen wählen oder ein benutzerdefiniertes Zeitfenster festlegen.

Das Dashboard passt die Granularität der Zeitreihendiagramme automatisch an den gewählten Zeitraum an — stündliche Intervalle für kurze Zeiträume, tägliche oder wöchentliche für längere Zeiträume.

Verfügbare Metriken

Gespräche

  • Anzahl der Anrufe — Gesamtzahl der Gespräche im ausgewählten Zeitraum
  • Gesamtdauer — gesamte Gesprächszeit
  • Durchschnittliche Dauer — mittlere Gesprächsdauer
  • Gesamtkosten — Gesamtausgaben für alle Gespräche
  • Durchschnittliche Kosten — mittlere Kosten pro Gespräch

Performance

  • Antwortlatenz des Agenten — Zeit bis zur Antwort des Agenten (Median und Perzentile)
  • Fehlerrate — Prozentsatz der Gespräche mit Fehlern
  • Fehleraufschlüsselung — nach Typ kategorisierte Fehler (Tool-Fehler, LLM-Fehler, Verbindungsprobleme)

Erfolgsauswertung

Wenn Sie Bewertungskriterien konfiguriert haben, zeigt das Dashboard Erfolgs-, Fehler- und Unbekannt-Raten für jedes Kriterium an. Dies ist die wichtigste Methode, um Geschäftsergebnisse über Experimente hinweg zu messen.

Datenerfassung

Wenn Sie die Datenerfassung konfiguriert haben, stehen erfasste Werte im Dashboard als filterbare Dimensionen zur Verfügung.

Sprachaufschlüsselung

Sehen Sie die Verteilung der Gespräche nach Sprachen. Das hilft Ihnen, die mehrsprachige Nutzung zu verstehen und die Performance von Agenten zwischen verschiedenen Sprachen zu vergleichen.

Aktive Anrufe

Das Dashboard zeigt die aktuelle Anzahl aktiver Anrufe in Echtzeit an. Dies umfasst laufende Sitzungen in Ihrem gesamten Workspace und ist auch über die API verfügbar.

Filtern

Grenzen Sie Ihre Analyseansicht ein, indem Sie Filter für beliebige Kombinationen von Dimensionen anwenden:

Tab „Tools“ mit durchschnittlicher Fehlerrate und durchschnittlicher Tool-Latenz, gruppiert nach Tool-
typ

FilterBeschreibung
AgentMetriken für einen bestimmten Agenten anzeigen
BranchPerformance zwischen Experiment-Branches vergleichen
AnruftypNach eingehenden, ausgehenden oder Web-Anrufen filtern
SpracheNach Gesprächssprache filtern
GesprächsquelleNach Start des Gesprächs filtern (Widget, Telefon, API)
LLM-ModellPerformance verschiedener Sprachmodelle vergleichen
TTS-ModellPerformance zwischen Text-to-Speech-Modellen vergleichen
ASR-ModellPerformance zwischen Spracherkennungsmodellen vergleichen
Tool-TypNach bestimmten in Gesprächen verwendeten Tools filtern
FehlertypGespräche mit bestimmten Fehlerkategorien isolieren
BewertungskriterienNach Ergebnissen der Erfolgsauswertung filtern

Gruppieren

Gruppieren Sie Metriken nach einer beliebigen filterbaren Dimension, um aggregierte Werte aufzuschlüsseln.

Tab „LLMs“ mit der Zeit bis zum ersten Satz des LLM im
Zeitverlauf

Diagramm zur Latenz bei Sprecherwechseln mit p50-, p90- und p99-
Perzentilen

Zum Beispiel:

  • Nach Branch gruppieren, um Experimentvarianten nebeneinander zu vergleichen
  • Nach Sprache gruppieren, um die Performance von Agenten sprachübergreifend zu sehen
  • Nach LLM-Modell gruppieren, um Modellperformance und Kosten zu vergleichen
  • Nach Anruftyp gruppieren, um Unterschiede zwischen eingehenden und ausgehenden Anrufen zu verstehen

Für eine tiefere Analyse können mehrere Gruppierungsdimensionen kombiniert werden.

Workflow-Analytics

Tab „Workflow-Analytics“ mit Eintritten, Dauern, Beendigungen und Kantenfluss pro Knoten, überlagert
auf dem Workflow-Diagramm

Bei Agenten mit einem Workflow überlagert der Tab Workflow im Analytics-Dashboard Nutzungsmetriken direkt auf dem Workflow-Diagramm. Wählen Sie einen Agenten aus, der einen Workflow verwendet, um die Diagrammansicht zu aktivieren — anschließend können Sie Gesprächsfluss und Traffic-Volumen direkt auf der Workflow-Fläche visualisieren, mit detailliertem Zu- und Abfluss für jeden Knoten.

Knotenmetriken

Klicken Sie auf einen beliebigen Knoten im Workflow-Diagramm, um den Inspektor zu öffnen und Folgendes anzuzeigen:

  • Eintritte — Anzahl der Gespräche, die im ausgewählten Zeitraum in den Knoten eingetreten sind
  • Durchschnittliche Verweildauer — wie lange der Knoten über diese Eintritte hinweg durchschnittlich aktiv war
  • Beendigungen — Anzahl der Gespräche, die endeten, während der Knoten aktiv war
  • Ein- und ausgehender Fluss — Verteilung der Gespräche, die über jede vorgelagerte Kante eintreten und über jede nachgelagerte Kante austreten

Gespräche genauer untersuchen

Klicken Sie im Knoteninspektor auf Gespräche anzeigen, um zur auf diesen Knoten gefilterten Gesprächsverlaufseite zu wechseln. Dadurch wird der Filter Knoten betreten angewendet — ein auf einen bestimmten Agenten begrenzter Verlaufsfilter, der jedes Gespräch anzeigt, dessen Transkript mindestens einmal den ausgewählten Workflow-Knoten betreten hat.

Der Filter Knoten betreten ist auch direkt auf der Gesprächsverlaufseite verfügbar.

Analytics mit Experimenten verwenden

Analytics ist das wichtigste Tool zur Messung der Ergebnisse von Experimenten. Empfohlener Workflow:

1

Nach Agent filtern

Wählen Sie den Agenten aus, der Ihr Experiment ausführt.
2

Nach Branch gruppieren

Schlüsseln Sie alle Metriken nach Branch auf, um die Performance jeder Variante zu sehen.

3

Wichtige Metriken vergleichen

Prüfen Sie die Metriken, die für Ihre Hypothese relevant sind — Ergebnisse der Erfolgsauswertung, Gesprächs- dauer, Kosten, Fehlerraten.

4

Entscheiden und handeln

Wenn eine Variante dauerhaft besser abschneidet, erhöhen Sie ihren Traffic-Anteil oder führen Sie sie mit main zusammen.

Sie können über die Schaltfläche Analytics anzeigen neben Ihren Einstellungen zur Traffic-Bereitstellung auf der Agentenkonfigurationsseite direkt zu dieser Ansicht wechseln. Dadurch werden die richtigen Filter für Agent und Branch vorausgewählt.

Nächste Schritte