分析

跟踪智能体表现、比较实验,并在整个工作区中发现优化机会

概览

分析仪表板为对话式智能体提供细粒度的实时指标。你可以按智能体、分支、时间段、语言、通话类型、模型等多个维度拆分性能,准确了解智能体在生产环境中的表现。

分析数据由高性能列式数据库提供支持,可通过灵活的筛选和分组,快速查询海量对话数据。

如需了解对话层面的主题,请使用 Spotlight 查看实时洞察、情感分析、主题发现及各主题对应的对话。

访问分析数据

前往智能体仪表板中的 分析 标签页。你可以查看整个工作区的指标,也可以筛选至特定智能体。

分析仪表板“常规”标签页,显示通话次数、平均时长、总成本及随时间变化的通话量

运行实验时,可在智能体配置页面点击 查看分析数据 按钮,直接跳转至按分支筛选的分析视图。系统会预先应用智能体和分支筛选条件,方便你立即比较不同变体的表现。

时间范围和粒度

使用仪表板顶部的日期选择器选择分析时间范围。你可以选择预设范围,也可以自定义时间窗口。

仪表板会根据所选范围自动调整时间序列图表的粒度:较短范围按小时汇总,较长范围按天或周汇总。

可用指标

对话

  • 通话次数 — 所选时间段内的对话总数
  • 总时长 — 对话总时长
  • 平均时长 — 平均对话时长
  • 总成本 — 所有对话的总支出
  • 平均成本 — 每次对话的平均成本

性能

  • 智能体响应延迟 — 智能体响应所需时间(中位数和百分位数)
  • 错误率 — 出现错误的对话占比
  • 错误明细 — 按类型分类的错误(工具失败、LLM 错误、连接问题)

成功评估

如果已配置评估标准,仪表板会显示每项标准的成功率、失败率和未知率。这是衡量不同实验业务成果的主要方式。

数据收集

如果已配置数据收集,收集到的值可作为仪表板中的筛选维度。

语言明细

查看各语言对话的分布情况。这有助于了解多语言使用情况,并比较智能体在不同语言下的表现。

活跃通话

仪表板会实时显示当前活跃通话数量,反映整个工作区正在进行的会话,也可通过 API 获取。

筛选

通过任意组合维度的筛选条件,缩小分析视图范围:

“工具”标签页,显示按工具类型分组的平均错误率和平均工具延迟

筛选条件说明
智能体查看特定智能体的指标
分支比较不同实验分支的表现
通话类型按呼入、呼出或网页通话筛选
语言按对话语言筛选
对话来源按发起对话的方式筛选(小组件、电话、API)
LLM 模型比较不同语言模型的表现
TTS 模型比较不同文本转语音模型的表现
ASR 模型比较不同语音识别模型的表现
工具类型按对话中使用的特定工具筛选
错误类型筛选具有特定错误类别的对话
评估标准按成功评估结果筛选

分组

按任意可筛选维度对指标分组,以拆分汇总数据。

“LLM”标签页,显示 LLM 首句响应时间随时间的变化

轮次衔接延迟图表,显示 p50、p90 和 p99 百分位数

例如:

  • 按分支分组,并排比较实验变体
  • 按语言分组,查看智能体在不同语言下的表现
  • 按 LLM 模型分组,比较模型性能和成本
  • 按通话类型分组,了解呼入与呼出通话的差异

可组合多个分组维度,进行更深入的分析。

工作流分析

工作流分析标签页,在工作流图上叠加显示各节点的进入次数、时长、终止次数和边流量

对于使用工作流的智能体,分析仪表板中的 工作流 标签页会将使用指标直接叠加显示在工作流图上。选择使用工作流的智能体即可启用图表视图——随后可直接在工作流画布上查看对话流向和流量,并了解每个节点的详细流入和流出情况。

节点指标

点击工作流图中的任意节点,打开检查器并查看:

  • 进入次数 — 所选时间范围内进入该节点的对话数量
  • 平均停留时间 — 这些对话中节点的平均活跃时长
  • 终止次数 — 节点处于活跃状态时结束的对话数量
  • 流入和流出 — 从各上游边进入及经各下游边离开的对话分布

深入查看对话

在节点检查器中,点击 查看对话,即可跳转至已按该节点筛选的对话历史页面。这会应用 已进入节点 筛选条件——此历史记录筛选条件限定于特定智能体,会显示转录内容至少一次进入所选工作流节点的所有对话。

已进入节点 筛选条件也可直接在对话历史页面中使用。

在实验中使用分析数据

分析功能是衡量实验结果的主要工具。建议按以下流程操作:

1

按智能体筛选

选择运行实验的智能体。
2

按分支分组

按分支拆分所有指标,查看各变体的表现。

3

比较关键指标

查看与你的假设相关的指标——成功评估结果、对话时长、成本和错误率。

4

决策并行动

当某个变体持续表现更好时,提高其流量占比或将其合并到主分支。

在智能体配置页面中,点击流量部署设置旁的 查看分析数据 按钮,即可直接跳转至此视图。系统会预先应用正确的智能体和分支筛选条件。

后续步骤