Les tests A/B sont un mécanisme qui permet différencier les expériences de groupes séparés de visiteurs. Les tests A/B vous aident à comprendre l'impact des changements apportés à l'expérience d’agent IA sur vos KPI d’expérience client les plus précieux avant de supprimer une version précédente, ce qui permet de faire des itérations en fonction des données.
Il existe plusieurs façons de réaliser des tests A/B dans le module supplémentaire Agents IA - Avancé.
- Séparation en fonction des libellés
- Séparation en fonction de l’agent IA ou du canal
- API Traffic_split
Séparation en fonction des API ou des libellés
Sur la base d'un champ provenant d'une API ou d'un libellé dans le workflow du dialogue, vous pouvez ensuite les utiliser dans un bloc conditionnel pour orienter les visiteurs vers des chemins différents.
Voici quelques exemples de critères de séparation :
Si quelqu'un déclenche une réponse par défaut, il reçoit ensuite des réponses différentes.
Si des boutons sont utilisés après le message de bienvenue plutôt que la reconnaissance d'intention, des messages différents sont affichés.
Vous pouvez utiliser n'importe quel champ du CRM pour diviser le groupe. Il peut s'agir d'un choix personnalisé, comme le statut du client, ou de quelque chose de plus aléatoire, comme la localisation.
Séparation en fonction de l’agent IA ou du canal
Nous recommandons déjà de différencier les expériences en fonction des canaux. Toutefois, le style de communication peut faire l'objet d'un test A/B sur les canaux sociaux, soit en ayant différents agents IA, soit en effectuant la séparation en fonction de la source de messagerie, par exemple Facebook ou Whatsapp.
API Traffic_split
Remarque : si vous souhaitez utiliser cette capacité, contactez votre responsable du service client pour l’activer.
Cette commande est exécutée à l'aide d'une intégration, que nous simulons de sorte qu'aucune donnée réelle ne soit transférée puisque la logique est hébergée dans notre tableau de bord, appelé trafficSplit, pour compiler des tests A/B basés sur le contenu. La fausse intégration est nécessaire pour prendre en charge la randomisation de l'association des groupes de contrôle.
Configurer la division des groupes
Cette fausse intégration utilise un paramètre appelé split.
Le paramètre [split] répartira dynamiquement votre utilisateur dans le nombre et la part de groupes de contrôle de votre choix ; vous n'avez pas besoin d'ajouter manuellement les parts jusqu’à 100, assurez-vous simplement qu'elles sont proportionnelles. Vous trouverez ci-dessous quelques exemples de proportions fractionnées.
1 = 1 groupe de contrôle de 100 %
1,1 = 2 groupes de contrôle avec une part égale de 50 % chacun
1,1,1 = 3 groupes de contrôle avec une part égale de 33,333333333333 % chacun
1,2,1 = 3 groupes de contrôle, un avec une part de 50 %, les deux autres avec une part de 25 % chacun (le groupe de contrôle et 1 variant auront les parts de 25 %).
Vous pouvez également les définir sous forme de pourcentages (par exemple 50,50). Ce qui compte, c'est le rapport entre les deux.
Les groupes seront toujours nommés de la façon suivante : le premier groupe est [control], le second [variant_1], le troisième [variant_2] et ainsi de suite.
Le premier groupe sera toujours le groupe [control].
Configurer les dialogues
Vous pouvez définir ce paramètre au dernier moment lors de l'appel de la fausse intégration ; pour vous assurer que votre base d'utilisateurs est distribuée de manière égale et sans biais, il est cependant recommandé d'ajouter ce paramètre à votre réponse de bienvenue, si elle est prise en charge par le CRM. Cependant, il peut être défini sur la ou les réponses individuelles sur lesquelles vous souhaitez effectuer des tests.
- Définissez le paramètre split comme une chaîne sur les données de conversation et comme un libellé pour identifier les conversations qui parviennent au fractionnement des visiteurs.
- Ajoutez un bloc d'intégration API et sélectionnez trafficSplit comme source d'intégration.
-
Recueillir le paramètre split : si vous n'avez pas encore défini ce paramètre, vous devez le sélectionner dans la branche Recueillir les paramètres. À moins que vous n'en ayez besoin, vous pouvez masquer cette branche en supprimant le message de l'agent IA et en réduisant la collecte.
Résultats du scénario : à utiliser comme bon vous semble. Ce scénario n'a qu'une seule utilité : affecter votre conversation à un groupe de contrôle.
Scénario apiError : il est extrêmement peu probable que celui-ci se déclenche car il ne s'agit pas d'une véritable API. Cependant, veillez à ajouter une solution de repli afin que l'expérience client soit fluide et que l'agent IA puisse continuer à fonctionner même si la fausse intégration est inhibée. Vous pouvez envoyer une réponse de bienvenue comme les autres, en veillant simplement à définir tous les paramètres requis qui pourraient être nécessaires pour progresser dans les dialogues par la suite. - Enregistrez votre paramètre dans les données de conversation en ajoutant un libellé pour la valeur {{variant}}.
Dans le chemin de succès du scénario, il est également recommandé d'ajouter un libellé de document de conversation pour identifier l'ensemble du lot de conversations qui ont été affectées à un groupe de contrôle au cours de votre test A/B.
Utiliser des variants trafficSplit
Vous pouvez techniquement créer des branches immédiatement après l'application des résultats de votre fausse intégration, mais vous n'êtes pas obligé de le faire. Maintenant que vous disposez d'un paramètre [split] avec les résultats de [variant] individuels [control], [variant_1], [variant_2], etc., vous pouvez créer des branches à n'importe quel moment via les blocs conditionnels.
Dans ce trafficSplit, nous donnons trois solutions différentes au client : deux liens différents en self-service, et une API dans l’agent IA. Tous les utilisateurs seront affectés à un bloc conditionnel en fonction du résultat du {{variant}} qui leur a été affecté de manière aléatoire. La solution de repli est là pour prendre en charge un cas limite d'erreur ApiError. Construisez-la de manière à la rendre transparente pour les clients et marquez-la dans les journaux de conversation afin de la localiser et de la dépanner facilement par la suite.
Il ne vous reste plus qu'à définir une mesure de réussite, par exemple CSAT ou Traitement par un agent IA, et à comparer vos résultats de [variant] à cette mesure en utilisant un ensemble de libellés sur les chemins des variants. Vous pouvez également utiliser Tableau.