Les tests A/B sont un mécanisme qui permet de segmenter les visiteurs pour différencier l’expérience proposée. Les tests A/B vous aident à comprendre l’impact des modifications de l’expérience d’agents IA sur vos KPI d’expérience client les plus importants avant de supprimer une version précédente, ce qui permet des itérations fondées sur les données.
Il y a plusieurs façons de mener des tests A/B au sein de l’espace de travail des agents IA.
Segmentation basée sur l’API/les libellés
En vous appuyant sur un champ provenant de l’API ou en définissant un libellé dans le workflow de dialogue, vous pouvez ensuite l’utiliser dans un champ conditionnel pour diriger les visiteurs vers différents parcours client.
Voici quelques exemples de critères de segmentation :
Quand un utilisateur déclenche une réponse par défaut, à partir de ce moment, il reçoit des réponses différentes.
Si des boutons sont utilisés après le message de bienvenue (au lieu de la reconnaissance de l’intention), des messages différents sont présentés.
Depuis votre CRM, vous pouvez utiliser n’importe quel champ pour segmenter le groupe. Il peut s’agir d’un choix personnalisé, comme le statut du client, ou d’un critère plus aléatoire, comme l’emplacement.
Segmentation basée sur l’agent IA/le canal
Nous conseillons déjà de différencier les expériences en fonction du canal. Cependant, vous pouvez mener des tests A/B pour le style de communication sur les canaux de réseaux sociaux, soit en ayant des agents IA différents, soit en séparant la source de messagerie (Facebook ou WhatsApp, par exemple).
API Traffic_split
Remarque – Si vous souhaitez utiliser cette capacité, contactez votre chargé de compte pour qu’il active cette fonctionnalité.
Cette fonctionnalité s’exécute en utilisant une intégration appelée trafficSplit, que nous simulons pour éviter le transfert de données réelles puisque la logique est hébergée dans notre tableau de bord, pour compiler les tests A/B basés sur le contenu. Cette intégration simulée est nécessaire pour prendre en charge la randomisation de l’association des groupes de contrôle.
Configuration de la segmentation des groupes
Cette intégration simulée utilise un paramètre appelé split.
Le paramètre [split] distribue automatiquement vos utilisateurs en fonction des chiffres et des parts que vous choisissez (il n’est pas nécessaire que le total de vos parts soit égal à 100, assurez-vous simplement qu’elles sont proportionnelles). Voici quelques exemples de proportions de segmentation :
1 = 1 groupe de contrôle de 100 %
1,1 = 2 groupes de contrôle avec une part égale de 50 % chacun
1,1,1 = 3 groupes de contrôle avec une part égale de 33,333333333333 % chacun
1,2,1 = 3 groupes de contrôle, un avec une part de 50 %, les deux autres avec une part de 25 % chacun (le groupe de contrôle et 1 variante auront les parts de 25 %)
Vous pouvez aussi les configurer en utilisant des pourcentages (50,50, p. ex.), l’important étant le rapport entre les groupes.
Les groupes seront toujours nommés comme suit : le premier groupe s’appellera [control], le deuxième [variant_1], le troisième [variant_2], etc.
Le premier groupe sera toujours le groupe [control].
Configuration des dialogues
Vous pouvez configurer ce paramètre au plus tard au moment de l’appel de l’intégration simulée, mais, pour garantir une distribution équitable et sans biais de votre base d’utilisateurs, il est conseillé d’ajouter ce paramètre à votre message de bienvenue (si votre CRM le prend en charge). Vous pouvez cependant le configurer pour la ou les réponses individuelles que vous voulez tester.
- Configurez le paramètre de segmentation (split) comme une chaîne dans les données de conversation et un libellé dans les conversations pour la segmentation des visiteurs.
- Ajoutez un bloc d’intégration API et sélectionnez trafficSplit comme source de l’intégration.
Recueillir le paramètre de segmentation : si vous n’avez pas encore configuré ce paramètre, vous devez le sélectionner au plus tard dans la branche Recueillir les paramètres. Sauf si vous en avez besoin, vous pouvez masquer cette branche en supprimant le message de l’agent IA et en réduisant le recueil.
Résultats du scénario : à utiliser comme vous le souhaitez. Ce scénario ne fait qu’une seule chose : il affecte votre conversation à un groupe de contrôle.
Scenario apiError : il y a peu de chances que cela se déclenche comme ce n’est pas une vraie API. Ajoutez simplement une valeur de repli pour garantir une expérience client fluide et vous assurer que l’agent peut continuer à fonctionner même si l’intégration simulée est inhibée. Vous pouvez distribuer une réponse de bienvenue comme n’importe quelle autre, mais assurez-vous de configurer tous les paramètres obligatoires pour assurer la progression des dialogues ultérieurement.- Enregistrez votre paramètre dans les données de conversation en ajoutant un libellé pour la valeur {{variant}}.
Dans ce parcours de scénario, il est aussi conseillé d’ajouter un libellé de document de conversations pour identifier la totalité du lot de conversations affectées à votre groupe de contrôle pendant les tests A/B.
Utilisation de variantes de trafficSplit
Théoriquement, vous pouvez bifurquer dès que les résultats de votre intégration simulée ont été appliqués, mais ce n’est pas une obligation. Maintenant que vous avez un paramètre [split] avec les résultats [variant] individuels pour [control], [variant_1], [variant_2], etc., vous pouvez bifurquer quand vous le souhaitez en utilisant les blocs conditionnels.
Dans ce trafficSplit, nous donnons trois solutions différentes au client : deux liens de self-service différents et une API au sein de l’agent IA. Tous les utilisateurs seront affectés à un bloc conditionnel en fonction de leur résultat {{variant}} affecté au hasard. La solution de repli est là pour prendre en charge un cas particulier ApiError : concevez-la pour offrir une expérience fluide aux clients et marquez-la dans les journaux de conversation pour pouvoir facilement la trouver et la dépanner ultérieurement.
Il ne vous reste plus qu’à définir une mesure de réussite, comme CSAT or Traitement par l’agent IA, et à comparer vos résultats [variant] à cette mesure en utilisant un libellé défini pour les chemins des variantes. Vous pouvez aussi utiliser Tableau.