Qu’est-ce que la grille de confusion ?
La grille de confusion est une visualisation des performances d’un modèle d’IA, par mesure de sa reconnaissance de l’intention. En d’autres termes, elle vous montre si votre modèle IA est capable de reconnaître distinctement des expressions similaires sous différentes intentions ou s’il est rendu « confus » par ce modèle.
La grille de confusion vous offre accès aux mêmes outils qu'utilisent les meilleurs scientifiques en IA, vous permettant de surveiller facilement les performances de votre propre agent IA.
Tous les mardis soirs, une nouvelle grille de confusion est générée automatiquement. Ainsi, si vous n’en avez pas mis à jour manuellement, vous n’en aurez jamais besoin depuis plus d’une semaine. En général, c'est tout à fait normal et il n'y a pas lieu de s'inquiéter.
Si votre agent IA a récemment suivi une formation approfondie, ou a subi des modifications majeures (changements d'expressions ou d'intentions), nous vous recommandons d'effectuer une nouvelle formation dès que possible.
Pour former à nouveau une grille de confusion, accédez à Centre de formation > Configuration de la grille de confusion, puis cliquez sur Former à nouveau en haut à droite.
Quand dois-je l’utiliser ?
Nous vous conseillons de l’utiliser quand vous remarquez que le taux de réponses de l'agent IA diminue dans les analyses (nous vous conseillons une base de 80 %) ou quand vous remarquez que votre agent IA catégorise régulièrement les messages dans la mauvaise intention.
Comment lire la grille de confusion
Les deux dimensions, X et Y, représentent les intentions réelles et prédites, respectivement.
Dans l’exemple ci-dessus, la colonne 1 et la ligne 1 sont les intentions affirmatives réelles et prédites, la ligne 2 et la colonne 2 sont les intentions négatives, ainsi de suite.
Plus une cellule est sombre, plus une intention prédite chevauche une intention réelle.
Un bon modèle, comme l'exemple ci-dessus, devrait avoir une ligne sombre qui traverse le tableau en diagonale.
Cependant, vous devez porter attention aux cellules colorées en dehors de la diagonale car elles représentent la fréquence à laquelle les messages d'une intention sont prédits pour une autre. Chaque fois que vous voyez des cellules avec des couleurs plus foncées à l’extérieur de la diagonale, cela indique un problème de précision du modèle IA dû à des chevauchements potentiels d’expressions entre deux intentions. Ils peuvent être traités de façon systématique dans la vue Liste des problèmes, où tous les problèmes qui se chevauchent sont automatiquement répertoriés par ordre de priorité.
Articles connexes :
Utiliser la grille de confusion pour améliorer les performances d'un agent IA avancé