Guías

Simular conversaciones

Aprende a probar y evaluar tu agente de ElevenLabs con conversaciones simuladas

Esta guía y las rutas de API que utiliza están obsoletas. Usa el tipo de prueba de agente Simulación en su lugar.

Resumen

La API de ElevenLabs Agents te permite simular y evaluar conversaciones basadas en texto con tu agente de IA. Esta guía te enseñará a implementar un workflow integral de pruebas de simulación mediante las rutas de API para simular conversaciones (por lotes y en streaming), lo que te permitirá probar y mejorar de forma detallada el rendimiento de tu agente para asegurarte de que cumple tus objetivos de interacción.

Requisitos previos

Implementar un workflow de pruebas de simulación

1

Identifica los parámetros de evaluación iniciales

Busca en el historial de conversaciones de tu agente y encuentra casos en los que no haya rendido bien. Usa esas conversaciones para crear varios prompts para un usuario simulado que interactuará con tu agente. Además, define cualquier criterio de evaluación adicional que aún no esté especificado en la configuración de tu agente para probar los resultados que quieras obtener para un usuario simulado concreto.

2

Simula la conversación mediante el SDK

Crea una solicitud a la ruta de API de simulación mediante el SDK de ElevenLabs.

from dotenv import load_dotenv
from elevenlabs import (
    ElevenLabs,
    ConversationSimulationSpecification,
    AgentConfig,
    PromptAgent,
    PromptEvaluationCriteria
)
load_dotenv()
api_key = os.getenv("ELEVENLABS_API_KEY")
elevenlabs = ElevenLabs(api_key=api_key)
response = elevenlabs.conversational_ai.agents.simulate_conversation(
    agent_id="YOUR_AGENT_ID",
    simulation_specification=ConversationSimulationSpecification(
        simulated_user_config=AgentConfig(
            prompt=PromptAgent(
                prompt="Your goal is to be a really difficult user.",
                llm="gpt-4o",
                temperature=0.5
            )
        )
    ),
    extra_evaluation_criteria=[
        PromptEvaluationCriteria(
            id="politeness_check",
            name="Politeness Check",
            conversation_goal_prompt="The agent was polite.",
            use_knowledge_base=False
        )
    ]
)
print(response)

Este es un ejemplo básico. Para consultar una lista completa de parámetros de entrada, consulta la referencia de la API de las rutas de API Simular conversación y Simular conversación en streaming.

3

Analiza la respuesta

El SDK proporciona un objeto JSON completo que incluye toda la transcripción de la conversación y un análisis detallado.

Conversación simulada: registra cada turno de interacción entre el usuario simulado y el agente, con detalles de los mensajes y el uso de herramientas.

Ejemplo de historial de conversación
[
  ...
  {
    "role": "user",
    "message": "Maybe a little. I'll think about it, but I'm still not convinced it's the right move.",
    "tool_calls": [],
    "tool_results": [],
    "feedback": null,
    "llm_override": null,
    "time_in_call_secs": 0,
    "conversation_turn_metrics": null,
    "rag_retrieval_info": null,
    "llm_usage": null
  },
  {
    "role": "agent",
    "message": "I understand. If you want to explore more at your own pace, I can direct you to our documentation, which has guides and API references. Would you like me to send you a link?",
    "tool_calls": [],
    "tool_results": [],
    "feedback": null,
    "llm_override": null,
    "time_in_call_secs": 0,
    "conversation_turn_metrics": null,
    "rag_retrieval_info": null,
    "llm_usage": null
  },
  {
    "role": "user",
    "message": "I guess it wouldn't hurt to take a look. Go ahead and send it over.",
    "tool_calls": [],
    "tool_results": [],
    "feedback": null,
    "llm_override": null,
    "time_in_call_secs": 0,
    "conversation_turn_metrics": null,
    "rag_retrieval_info": null,
    "llm_usage": null
  },
  {
    "role": "agent",
    "message": null,
    "tool_calls": [
      {
        "type": "client",
        "request_id": "redirectToDocs_421d21e4b4354ed9ac827d7600a2d59c",
        "tool_name": "redirectToDocs",
        "params_as_json": "{\"path\": \"/docs/api-reference/introduction\"}",
        "tool_has_been_called": false,
        "tool_details": null
      }
    ],
    "tool_results": [],
    "feedback": null,
    "llm_override": null,
    "time_in_call_secs": 0,
    "conversation_turn_metrics": null,
    "rag_retrieval_info": null,
    "llm_usage": null
  },
  {
    "role": "agent",
    "message": null,
    "tool_calls": [],
    "tool_results": [
      {
        "type": "client",
        "request_id": "redirectToDocs_421d21e4b4354ed9ac827d7600a2d59c",
        "tool_name": "redirectToDocs",
        "result_value": "Tool Called.",
        "is_error": false,
        "tool_has_been_called": true,
        "tool_latency_secs": 0
      }
    ],
    "feedback": null,
    "llm_override": null,
    "time_in_call_secs": 0,
    "conversation_turn_metrics": null,
    "rag_retrieval_info": null,
    "llm_usage": null
  },
  {
    "role": "agent",
    "message": "Okay, I've sent you a link to the introduction to our API reference.  It provides a good starting point for understanding our different tools and how they can be integrated. Let me know if you have any questions as you explore it.\n",
    "tool_calls": [],
    "tool_results": [],
    "feedback": null,
    "llm_override": null,
    "time_in_call_secs": 0,
    "conversation_turn_metrics": null,
    "rag_retrieval_info": null,
    "llm_usage": null
  }
  ...
]

Análisis: ofrece información sobre los resultados de los criterios de evaluación, las métricas de recopilación de datos y un resumen de la transcripción de la conversación.

Ejemplo de análisis
{
  "analysis": {
    "evaluation_criteria_results": {
      "politeness_check": {
        "criteria_id": "politeness_check",
        "result": "success",
        "rationale": "The agent remained polite and helpful despite the user's challenging attitude."
      },
      "understood_root_cause": {
        "criteria_id": "understood_root_cause",
        "result": "success",
        "rationale": "The agent acknowledged the user's hesitation and provided relevant information."
      },
      "positive_interaction": {
        "criteria_id": "positive_interaction",
        "result": "success",
        "rationale": "The user eventually asked for the documentation link, indicating engagement."
      }
    },
    "data_collection_results": {
      "issue_type": {
        "data_collection_id": "issue_type",
        "value": "support_issue",
        "rationale": "The user asked for help with integrating ElevenLabs tools."
      },
      "user_intent": {
        "data_collection_id": "user_intent",
        "value": "The user is interested in integrating ElevenLabs tools into a project."
      }
    },
    "call_successful": "success",
    "transcript_summary": "The user expressed skepticism, but the agent provided useful information and a link to the API documentation."
  }
}
4

Mejora tus criterios de evaluación

Revisa a fondo las conversaciones simuladas para evaluar la eficacia de tus criterios de evaluación. Identifica cualquier carencia o área en la que los criterios puedan ser insuficientes para evaluar el rendimiento del agente. Perfecciona y ajusta los criterios de evaluación según corresponda para garantizar que se ajusten a tus resultados deseados y midan con precisión las capacidades del agente.

5

Mejora tu agente

Cuando confíes en la precisión de tus criterios de evaluación, utiliza lo aprendido de las conversaciones simuladas para mejorar las capacidades de tu agente. Considera perfeccionar el prompt del sistema para orientar mejor las respuestas del agente y asegurarte de que se ajustan a tus objetivos y a las expectativas de los usuarios. Además, explora otras funciones o configuraciones que puedan optimizarse, como ajustar el tono del agente, mejorar su capacidad para gestionar consultas específicas o integrar fuentes de datos adicionales para enriquecer sus respuestas. Al aplicar sistemáticamente lo aprendido, puedes crear un agente conversacional más sólido y eficaz que ofrezca una experiencia de usuario superior.

6

Iteración continua

Después de completar un ciclo inicial de pruebas y mejoras, crear una suite completa de pruebas puede ser una buena forma de abarcar una amplia variedad de escenarios posibles. Esta suite puede explorar varias conversaciones simuladas mediante distintos prompts de usuarios simulados y condiciones iniciales. Al iterar y perfeccionar continuamente tu enfoque, puedes garantizar que tu agente siga siendo eficaz y responda a las necesidades cambiantes de los usuarios.

Consejos profesionales

Prompts y criterios detallados

Crear prompts detallados y extensos para usuarios simulados, así como criterios de evaluación, puede mejorar la eficacia de las pruebas de simulación. Cuanto más contexto y especificidad proporciones, mejor podrá el agente comprender y responder a interacciones complejas.

Configuraciones de herramientas simuladas

Utiliza configuraciones de herramientas simuladas para probar el proceso de toma de decisiones de tu agente. Esto te permite observar cómo el agente decide realizar llamadas a herramientas y reaccionar a distintos resultados de esas llamadas. Para obtener más información, consulta el parámetro de entrada tool_mock_config en la referencia de la API.

Historial parcial de conversaciones

Utiliza historiales parciales de conversaciones para evaluar cómo gestionan los agentes las interacciones a partir de un punto concreto. Esto resulta especialmente útil para evaluar la capacidad del agente para gestionar conversaciones en las que el usuario ya ha planteado una pregunta de una forma específica, o en las que determinadas llamadas a herramientas han tenido éxito o han fallado. Para obtener más información, consulta el parámetro de entrada partial_conversation_history en la referencia de la API.