Evaluación de éxito
Evaluación de éxito
Define criterios personalizados para evaluar la calidad de las conversaciones, el logro de objetivos y la satisfacción del cliente.
La evaluación de éxito te permite definir objetivos y métricas de éxito personalizados para tus conversaciones. Cada criterio se evalúa con respecto a la transcripción de la conversación y devuelve un resultado de success, failure o unknown, junto con una justificación detallada.
Resumen
La evaluación de éxito utiliza análisis basado en LLM para evaluar la calidad de las conversaciones según tus objetivos de negocio específicos. Esto permite medir sistemáticamente el rendimiento y garantizar la calidad en todas las interacciones con clientes.
Cómo funciona
Cada criterio de evaluación analiza la transcripción de la conversación mediante un prompt personalizado y devuelve:
- Resultado:
success,failureounknown - Justificación: Explicación detallada de por qué se eligió el resultado
Tipos de criterios de evaluación
Criterios de prompt de objetivo
Los criterios de prompt de objetivo envían la transcripción de la conversación junto con un prompt personalizado a un LLM para verificar si se cumplió un objetivo específico. Es el tipo de evaluación más flexible y se puede usar para lógica de negocio compleja.
Ejemplos:
- Evaluación de satisfacción del cliente
- Verificación de resolución de problemas
- Comprobación de cumplimiento normativo
- Validación de reglas de negocio personalizadas
Configuración
Accede a los ajustes del agente
Ve al panel de tu agente y selecciona la pestaña Análisis para configurar los criterios de evaluación.
Añade criterios de evaluación
Haz clic en Añadir criterios para crear un nuevo criterio de evaluación.
Define tu criterio con:
- Identificador: Un nombre único para el criterio (p. ej.,
user_was_not_upset) - Descripción: Prompt detallado que describe qué se debe evaluar
Los criterios de evaluación están limitados a 30 por agente.
Buenas prácticas
Redactar prompts de evaluación eficaces
- Especifica qué se considera éxito y qué fracaso
- Incluye casos límite y ejemplos en tu prompt
- Usa criterios claros y medibles cuando sea posible
- Prueba tus prompts con distintos escenarios de conversación
Criterios de evaluación habituales
- Satisfacción del cliente: “Márcalo como exitoso si el cliente expresa satisfacción o si su problema se resolvió” - Finalización del objetivo: “Márcalo como exitoso si el cliente completó la acción solicitada (reserva, compra, etc.)” - Cumplimiento normativo: “Márcalo como exitoso si el agente siguió todos los procedimientos de cumplimiento obligatorios” - Resolución de problemas: “Márcalo como exitoso si el problema técnico del cliente se resolvió durante la llamada”
Gestionar resultados ambiguos
El resultado unknown se devuelve cuando el LLM no puede determinar el éxito o el fracaso a partir de la transcripción. Esto suele ocurrir con:
- Conversaciones incompletas
- Respuestas ambiguas de clientes
- Información ausente en la transcripción
Supervisa los resultados unknown para identificar áreas en las que tus prompts de criterios puedan necesitar ajustes.
Casos de uso
Solución de problemas
Los criterios de evaluación devuelven resultados inesperados
- Revisa la claridad y especificidad de tu prompt
- Prueba con conversaciones de ejemplo para validar la lógica
- Ten en cuenta los casos límite en tus criterios de evaluación
- Comprueba si la transcripción contiene información suficiente para la evaluación
Alta frecuencia de resultados 'unknown'
- Asegúrate de que tus prompts especifiquen qué información buscar - Considera si las conversaciones contienen suficiente contexto para la evaluación - Revisa la calidad e integridad de la transcripción - Ajusta los criterios para gestionar los casos límite habituales
Consideraciones de rendimiento
- Cada criterio de evaluación añade tiempo de procesamiento al análisis de conversaciones
- Los prompts complejos pueden tardar más en evaluarse
- Considera el equilibrio entre un análisis exhaustivo y el tiempo de respuesta
- Supervisa tu uso para optimizarlo según tus necesidades específicas
Los resultados de la evaluación de éxito están disponibles mediante webhooks posteriores a la llamada para integrarlos con sistemas externos y plataformas de análisis.