Expériences
Expériences
Exécutez des tests A/B contrôlés sur le trafic de production pour optimiser les performances des agents avec des données, et non l’intuition
Les expériences vous permettent de mener des tests A/B contrôlés sur tous les aspects de la configuration d’un agent, structure du prompt, logique du workflow, voix, personnalité, outils ou base de connaissances. Acheminez une part définie du trafic vers une variante, mesurez l’impact sur les résultats clés, puis déployez les variantes gagnantes en production.
Les expériences reposent sur le versioning des agents. Le versioning doit être activé sur votre agent avant de pouvoir lancer des expériences.
Pourquoi expérimenter
Sans expérimentation structurée, l’optimisation repose sur l’intuition. Une modification du prompt semble meilleure. Un ajustement du workflow devrait améliorer le taux de résolution autonome. Un nouveau parcours d’escalade paraît plus efficace.
Les expériences remplacent les suppositions par des données probantes. Testez les changements sur du trafic réel, mesurez les résultats concrets et déployez ce qui fonctionne.
Fonctionnement
Les expériences suivent un workflow en quatre étapes :
Créer une variante
Partez de la configuration actuelle de votre agent et créez une nouvelle branche. Modifiez n’importe quel élément : prompt système, workflow, voix, outils, base de connaissances, garde-fous ou critères d’évaluation. Chaque modification est suivie sous forme de configuration versionnée.
Accédez à l’onglet Branches dans les paramètres de votre agent, puis cliquez sur Create branch.
Acheminer le trafic
Définissez le pourcentage de conversations en direct à envoyer vers votre variante. Commencez avec une faible part, de 5 à 10 %, afin de limiter les risques, puis augmentez-la à mesure que votre confiance grandit.
Cliquez sur Edit traffic split et définissez les pourcentages de chaque branche. Le total des pourcentages doit être exactement de 100 %.
Mesurer l’impact
Comparez les performances de la variante à votre référence à l’aide du Dashboard d’analytique. Cliquez sur See analytics dans le panneau des branches pour accéder directement à une vue filtrée par branche.
Les équipes peuvent mesurer des résultats tels que :
- CSAT
- Taux de résolution autonome
- Conversion
- Temps moyen de traitement
- Latence médiane de réponse de l’agent
- Coût par résolution par l’agent
Déployer la variante gagnante
Lorsqu’une variante démontre une amélioration mesurable, augmentez sa part de trafic ou fusionnez-la avec la branche principale pour en faire la nouvelle configuration par défaut. L’historique complet des versions est conservé, ce qui permet de revenir en arrière si nécessaire.
Acheminement du trafic
Le trafic est réparti entre les branches selon un pourcentage. L’acheminement est déterministe selon l’identifiant de la conversation. Ainsi, un même utilisateur accède systématiquement à la même branche d’une session à l’autre.
Par défaut, le trafic est réparti aléatoirement parmi les utilisateurs. Si vous utilisez l’API pour démarrer des conversations, vous pouvez acheminer des cohortes précises vers des branches spécifiques en contrôlant la configuration de branche utilisée pour chaque conversation.
Le total de tous les pourcentages de trafic doit être exactement de 100 %. Un déploiement échouera dans le cas contraire.
Cas d’usage
Les expériences permettent une optimisation continue des workflows orientés client et opérationnels.
Chaque expérience est liée à une version précise de l’agent. Chaque variation de performance est donc attribuable à une modification de configuration définie.
Ce que vous pouvez tester
Tous les aspects de la configuration de l’agent peuvent varier d’une branche à l’autre :
Bonnes pratiques
Commencez par une hypothèse
Définissez ce que vous prévoyez d’améliorer et comment vous le mesurerez avant de créer une variante. Par exemple : « Modifier le prompt d’escalade pour y inclure un résumé du problème améliorera notre critère d’évaluation du taux de résolution de 10 %. »
Ne modifiez qu’un élément à la fois
Isoler une seule variable permet d’identifier clairement l’origine de toute différence de performance. Si vous modifiez simultanément le prompt, la voix et le workflow, vous ne saurez pas quel changement a produit le résultat.
Configurez d’abord les critères d’évaluation
Configurez les critères d’évaluation de la réussite avant de lancer des expériences. Ils fournissent les métriques structurées nécessaires pour comparer objectivement les variantes.
Commencez avec de faibles pourcentages de trafic
Commencez avec 5 à 10 % du trafic vers la variante. Vous limitez ainsi l’exposition en cas de problème tout en générant des données significatives.
Laissez suffisamment de temps aux expériences
Attendez d’avoir accumulé suffisamment de conversations avant de tirer des conclusions. Les petits échantillons produisent des résultats peu fiables. Surveillez le Dashboard d’analytique et attendez que les tendances se stabilisent.
Gardez les expériences de courte durée
Fusionnez ou abandonnez rapidement les expériences. Les branches actives trop longtemps deviennent plus difficiles à fusionner et peuvent s’écarter de la configuration principale.