Le niveau de confiance détermine à quel point l’agent IA est sûr que l’expression reçue correspond à une intention.
Vous pouvez voir cela dans vos journaux de conversations quand vous cliquez sur un message pour savoir quels éléments ont été reconnus et le niveau de confiance dans l’intention.
 |
 |
Vous avez la possibilité de choisir le seuil de confiance : à quel niveau l’agent IA doit-il envoyer une réponse d’intention ?
Nous avons défini le seuil de confiance pour l’agent IA sur 60 et nous nous sommes rendu compte que pour la plupart de nos utilisateurs, ce seuil était compris entre 50 % et 70 %, ce qui apporte le plus de valeur lors de la formation de l’agent IA. Mais vous vous demandez peut-être comment savoir quel est le seuil de confiance le mieux adapté.
Pour prendre cette décision, vous devez savoir ce qui se passe quand vous diminuez ou augmentez le seuil. Que se passe-t-il quand l’agent IA reçoit une expression en dessus ou en dessous du seuil ?
Dans cet article, nous allons couvrir :
Définition du seuil de confiance
Les débuts
L’une des approches que nous pouvons vous recommander est que, au début, vous pouvez commencer avec un seuil de confiance plus élevé. Une fois que vous vous sentez à l’aise avec vos réponses d’intention, vous pouvez ajouter plus d’expressions et de formation pour votre agent IA, et prendre en compte les commentaires de vos utilisateurs. Vous pouvez essayer de le réduire pour voir s’il a un impact sur d’autres mesures.
Définition du seuil de confiance
Vous trouverez le seuil de confiance de votre agent IA dans les paramètres > Général > Seuil de confiance
Remarque : en fonction du niveau de confiance d’une expression, vous pouvez envoyer différentes réponses en utilisant des blocs conditionnels avec le paramètre confidence_score.
Scénarios de confiance
Quand un message arrive, l’IA se lance et compare le contenu du message à toutes les intentions que vous avez créées, ainsi qu’à sa compréhension, pour trouver une correspondance. En s’appuyant sur cette analyse, l’IA effectuera des calculs rapides pour estimer le niveau de confiance de ces intentions et si elle correspond à cette représentation créée par l’IA. Les seuils sont compris entre 0 et 100, et si vous avez déterminé le seuil de confiance par défaut à 60, tout ce qui se trouve au-dessus de 60 déclenchera l’intention correspondante, ainsi que les actions et réponses suivantes.
- Si le résultat est supérieur au seuil, l’intention est déclenchée, ce qui peut être correct ou incorrect. Plus le seuil est bas, plus il est probable qu’une intention erronée soit déclenchée.
- Si le résultat est inférieur au seuil, une réponse par défaut est envoyée.
- Pour l’automatisme de ticket, si le résultat est inférieur au seuil, aucune réponse n’est envoyée sauf si vous l’avez configuré autrement.
Pour l’automatisation du chat, le client est remonté selon la façon dont vous avez conçu votre réponse par défaut.
Plus le seuil de confiance est élevé, plus l'agent IA serait précis, mais plus de réponses par défaut seront également envoyées. Vous devez donc prendre en compte 5 éléments :
- Quels avantages recherchez vous avec l’agent IA ?
- Que vous coûte l’erreur d’un agent IA pour votre entreprise et vos clients ?
- Que vous coûte l’envoi de la réponse par défaut par un agent IA pour l’entreprise et pour vos clients ?
- Que vous coûte l’inactivité ou la remontée des tickets pour votre entreprise et vos clients ?
- La conception de conversation de votre réponse par défaut
Considérations
Pour déterminer le seuil de confiance, vous pouvez effectuer une analyse complète. Si vous cherchez une méthode simple, nous pouvons vous poser une question de type either-or (soit/ou).
| Pour 100 messages, quelle est la meilleure option ? | |
| 50 réponses potentiellement incorrectes + 50 réponses correctes | 100 réponses par défaut/aucune action effectuée |
| 40 réponses potentiellement incorrectes + 60 réponses correctes | 100 réponses par défaut/aucune action effectuée |
| 30 réponses potentiellement incorrectes + 70 réponses correctes | 100 réponses par défaut/aucune action effectuée |
| 20 réponses potentiellement incorrectes + 80 réponses correctes | 100 réponses par défaut/aucune action effectuée |
La réponse dépendra de la façon dont vous avez créé vos réponses d’intention.
La conception des conversations est-elle flexible ?
Cette option est-elle disponible, en particulier pour des intentions similaires comme Processus de retour et Demande de remboursement ? Elles partagent beaucoup de termes au sujet des retours et le risque de confusion est donc plus élevé, mais si dès le premier message il est possible de définir le contexte, l’intention déclenchée a un impact négatif plus faible.
La formation est-elle satisfaisante ?
Y a-t-il beaucoup de confusions entre les intentions ? En analysant la grille de confusion, vous pouvez essayer de réduire la confusion, ce qui aura un impact positif sur la confiance.