Mon édition
Module supplémentaire Agents IA - avancé

Le tableau de bord de résumé des performances vous permet d’approfondir divers aspects d’un agent IA - avancé pour comprendre ses performances. Vous pouvez y consulter :

  • Des mesures clés de volume de visiteurs, gestion des conversations et opportunités d’amélioration
  • Des visualisations basées sur le volume, le temps, la langue, la résolution et l’intention
  • Des mesures clés de performances des cas d’utilisation

Cet article aborde les sujets suivants :

  • Accès au tableau de bord
  • À propos des rapports
  • Filtrage du tableau de bord

Articles connexes :

  • Analyse des agents IA - Avancé avec le tableau de bord d’aperçu des performances.
  • À propos de l’explorateur de parcours conversationnel pour les agents IA - Avancé
  • Performances UltimateGPT pour les agents IA - Avancé

Accès au tableau de bord

Le tableau de bord de résumé des performances se trouve sous Analyses dans la barre latérale gauche.

Pour accéder au tableau de bord de résumé des performances

  1. En haut à droite, utilisez le champ déroulant des agents IA pour sélectionner l’agent IA que vous voulez analyser.
  2. Dans la barre latérale gauche, cliquez sur Analyses > Analyses de l’agent IA.
  3. Sélectionnez l’onglet Résumé des performances.

À propos des rapports

Le tableau de bord de résumé des performances contient les sections suivantes :

  • Aperçu des performances
  • Analyse des performances de l’agent IA
  • Performances du cas d’utilisation

Aperçu des performances

La section Aperçu des performances vous fournit des informations rapides sur les mesures clés de votre agent IA. Les rapports de cette section sont différents selon ce que vous êtes en train de faire :

  • Analyse des performances d’un agent IA sans formation ou basé sur les expressions
  • Analyse des performances d’un agent IA agentique

Analyse des performances d’un agent IA sans formation ou basé sur les expressions

Quand vous analysez un agent IA sans formation ou basé sur les expressions, la section Aperçu des performances contient les rapports suivants :

  • Volume de visiteurs : affiche le nombre de conversations ou de messages traités par l’agent IA.
    • Quand l’option Conversations est sélectionnée dans le menu déroulant, les mesures supplémentaires suivantes s’affichent :
      • Conversations avec une intention pertinente : les conversations qui incluent des interactions associées avec des sujets fréquents dans les demandes des utilisateurs.
      • Conversations bien comprises : les conversations pour lesquelles tous les messages étaient au-dessus du seuil de confiance pour la compréhension.

    • Quand l’option Messages est sélectionnée dans le menu déroulant, les mesures supplémentaires suivantes s’affichent :
      • Messages non reconnus : les conversations qui incluent des interactions pour lesquelles l’agent IA n’a pas compris la demande de l’utilisateur.
      • Messages reconnus : les conversations pour lesquelles l’agent IA a pu faire correspondre la demande de l’utilisateur à une réponse appropriée.
  • Conversations entièrement gérées : affiche le pourcentage de conversations traitées par l’agent IA ou le taux de résolution personnalisé.
    • Quand l’option Conversations traitées par l’agent IA est sélectionnée dans le menu déroulant, les mesures supplémentaires suivantes s’affichent :
      • Taux de déduction : les conversations qui ne sont pas transférées à un agent humain.
      • Conversations sans statut : les conversations auxquelles un statut de conversation n’est pas affecté automatiquement.

    • Quand l’option Taux de résolution personnalisée est sélectionnée dans le menu déroulant, les mesures supplémentaires suivantes s’affichent :
      • Conversations éclairées : les conversations pour lesquelles l’agent IA a fourni des instructions ou des conseils à l’utilisateur. Consultez Utilisation de l’état informé pour en savoir plus.
      • Conversations résolues : les conversations pour lesquelles une résolution pertinente a été fournie à l’utilisateur et aucune autre question n’a été posée.
  • Domaines à explorer : affiche le taux de remontée, le nombre de conversations infructueuses ou le score de satisfaction de l’agent IA (BSAT).
    • Quand l’option Conversations remontées est sélectionnée dans le menu déroulant, les mesures supplémentaires suivantes s’affichent :
      • Taux de remontée : le pourcentage de conversations qui ont été transférées de l’agent IA à un agent humain.
      • Remontées ayant échoué : le pourcentage de conversations pour lesquelles un transfert à un agent humain a été tenté mais a échoué, car il n’y avait pas d’agent disponible ou en ligne.

    • Quand l’option Conversations infructueuses est sélectionnée dans le menu déroulant, les mesures supplémentaires suivantes s’affichent :
      • Actions ratées : les conversations pour lesquelles une action a échoué ou n’a pas été effectuée.
      • Erreurs techniques : les conversations pour lesquelles un problème technique est survenu, que ce soit au niveau de l’agent IA ou d’une intégration (par exemple, en cas d’erreur inattendue lors de la connexion à une API externe).
    • Quand l’option BSAT est sélectionnée dans le menu déroulant, les mesures supplémentaires suivantes s’affichent :
      • Score BSAT moyen : la somme de toutes les notes recueillies divisée par le nombre total de conversations pour lesquelles les utilisateurs ont envoyé des commentaires.
      • Taux de réponse : le pourcentage de conversations notées par vos utilisateurs.

        Pour en savoir plus, consultez Analyse du score BSAT moyen et du taux de réponse.

Analyse des performances d’un agent IA agentique

Quand vous analysez un agent IA agentique, la section Aperçu des performances contient les rapports suivants :

  • Volume total de conversations : affiche le nombre réel et le pourcentage d’évolution dans le temps des conversations traitées par l’agent IA.

  • Conversations comprises : affiche le pourcentage, le nombre réel et le pourcentage d’évolution dans le temps des conversations pour lesquelles une réponse a été fournie à partir d’une source de connaissances ou des conversations qui ont été mises en correspondance avec un cas d’utilisation. Cela exclut les « papotages » et les conversations transférées directement.

    Cette mesure est segmentée en fonction des types de réponses suivants :

    • Réponse de cas d'utilisation : le pourcentage et le nombre réel de réponses dans les conversations comprises qui ont déclenché une réponse de dialogue ou une procédure.
    • Réponse de base de connaissances : le pourcentage et le nombre réel de réponses dans les conversations comprises qui ont été générées à partir d’une source de connaissances.
    • Réponse hybride : le pourcentage et le nombre réel de réponses dans les conversations comprises qui incluaient une réponse de cas d’utilisation et une réponse de base de connaissances.

  • Résolutions automatisées : affiche le pourcentage, le nombre réel et le pourcentage d’évolution dans le temps des résolutions automatisées. Les résolutions automatisées sont comptées comme des conversations traitées par l’agent IA (pour les tickets de messagerie) et des conversations avec réponse (pour les tickets par e-mail) qui ont réussi la vérification de notre modèle LLM) indiquant qu’elles ne nécessitent pas d’intervention humaine. Les données de résolutions automatisées sont disponibles uniquement à compter du 7 octobre 2024. Pour en savoir plus sur les résolutions automatisées, consultez À propos des résolutions automatisées pour les agents IA.

    Cette mesure est segmentée en fonction des types de réponses suivants :

    • Réponse de cas d’utilisation :
      • Le pourcentage de conversations avec résolutions automatisées provenant d’un dialogue et qui ont été comprises.
      • Le nombre réel de réponses dans les conversations avec résolutions automatisées provenant d’un dialogue.
    • Réponse de base de connaissances :
      • Le pourcentage de conversations avec résolutions automatisées générées par UltimateGPT et qui ont été comprises.
      • Le nombre réel de conversations avec résolutions automatisées générées par UltimateGPT.
    • Réponse hybride :
      • le pourcentage de conversations avec résolutions automatisées qui ont déclenché une réponse hybride et qui ont été comprises.
      • Le nombre réel de réponses dans les conversations avec résolutions automatisées qui incluaient une réponse hybride.

  • Autres conversations : affiche le pourcentage, le nombre réel et le pourcentage d’évolution dans le temps des conversations qui n’ont pas été automatiquement résolues par l’agent IA. Cette mesure est segmentée en fonction des types de réponses suivants :
    • Non comprises : affiche le pourcentage et le nombre réel de réponses de l’agent IA qui n’ont pas fourni de réponse de base de connaissances ou de cas d’utilisation, ainsi que les transferts directs.
      Remarque – Cette mesure est différente des résultats du filtre Type de conversation > Conversations avec messages non compris pour les journaux de conversations, qui renvoie les conversations pour lesquelles une réponse par défaut a été déclenchée et une erreur a eu lieu pendant la tentative d’assainissement, de détection d’entité ou de détection de langue.
    • Conversations remontées : affiche le pourcentage et le nombre réel de toutes les conversations transférées à un agent humain, qu’elles aient été comprises ou non.
    • Remontées ayant échoué et erreurs : affiche le pourcentage et le nombre réel d’autres conversations pour lesquelles une tentative de transfert ou des actions ont échoué.

Analyse des performances de l’agent IA

Dans la section Analyse des performances de l’agent IA, vous pouvez visualiser vos données. Sur la gauche, vous pouvez voir les mesures portant sur le volume. Sur la droite, vous pouvez voir les mesures portant sur le temps, la langue, la résolution et l’intention.

Sur le côté gauche de cette section, sélectionnez l’un des rapports suivants dans le menu déroulant :

  • Durée de l’automatisme : tendance générale : affiche la tendance du temps de traitement moyen en minutes d’une semaine à l’autre.
  • Taux de traitement par l’agent IA - tendance globale : affiche la tendance du taux de traitement par l’agent IA d’une semaine à l’autre et le pourcentage de conversations efficacement gérées par l’agent IA au fil du temps. Indisponible pour les agents IA agentiques.
  • Score de satisfaction globale de l’agent IA : tendance générale : affiche le score de satisfaction de l’agent IA au fil du temps dans une vue des tendances d’une semaine à l’autre et donne une représentation visuelle de la façon dont les niveaux de satisfaction des clients fluctuent et évoluent.
  • Score BSAT par intention : affiche le score BSAT pour chaque cas d’utilisation.
  • Conversation : affiche les tendances quotidiennes des conversations avec les clients traitées par l’agent IA pour identifier les pics de trafic.
  • Statut de la conversation : affiche la charge de travail de l’agent IA, segmentée par statut de la conversation.
  • Conversations dont les remontées ont échoué : affiche le nombre de conversations pour lesquelles une tentative de transfert a échoué.
  • Tendance générale du taux de déduction : affiche la tendance du taux de déduction d’une semaine à l’autre et montre comment l’agent IA a redirigé les conversations avec des agents humains dans plusieurs langues.
  • Tendance générale du taux de remontée : affiche la tendance du taux de remontée d’une semaine à l’autre et met en évidence la fréquence à laquelle l’agent IA a remonté les conversations aux agents humains.
  • Taux de messages reconnus par rapport au taux de messages non reconnus : affiche la tendance, d’une semaine à l’autre, des messages que l’agent IA a compris et n’a pas reconnus, et donne des informations sur ses capacités de compréhension et les points à améliorer dans la gestion des demandes des utilisateurs au fil du temps. Indisponible pour les agents IA agentiques.
  • Langues : affiche la charge de travail de l’agent IA, segmentée par langue. Disponible pour les agents IA agentiques uniquement.
  • Répartition des langues non prises en charge : affiche les langues parlées par vos clients que votre agent IA ne prend pas en charge.
  • Résolutions personnalisées des conversations par heure : affiche l’état final de la résolution personnalisée des demandes des utilisateurs par heure pour identifier les points à améliorer. Limitée aux réponses de dialogue.
  • Résolutions personnalisées des conversations : affiche l’état final de la résolution personnalisée des demandes des utilisateurs pour identifier les points à améliorer. Limitée aux réponses de dialogue.
  • Tendance globale du taux de résolution personnalisée : affiche la tendance du taux de résolution personnalisée d’une semaine à l’autre pour démontrer l’efficacité de l’agent IA dans sa capacité à fournir aux utilisateurs les informations nécessaires ou à répondre aux demandes. Limitée aux réponses de dialogue.
  • Statut des conversations par jour et par libellé : affiche la charge de travail de l’agent IA segmentée par libellés de conversation pour comprendre les sujets les plus fréquents et leur évolution dans le temps.

Sur le côté droit de cette section, sélectionnez l’un des rapports suivants dans le menu déroulant :

  • Résolutions automatisées - tendance générale : affiche le volume de résolutions automatisées dans un graphique montrant la tendance au fil du temps.
  • Tendance de la durée des automatismes par langue : affiche la tendance du temps de traitement moyen en minutes d’une semaine à l’autre, segmenté par langue.
  • Tendance des taux de traitement par l’agent IA par langue : affiche la tendance du taux de traitement par l’agent IA d’une semaine à l’autre, segmenté par langue, et le pourcentage de conversations efficacement gérées uniquement par l’agent IA au fil du temps. Indisponible pour les agents IA agentiques.
  • Tendance du score de satisfaction globale de l’agent IA par langue : affiche le score de satisfaction de l’agent IA au fil du temps dans une vue des tendances, segmentée par langue, et donne une représentation visuelle de la façon dont les niveaux de satisfaction des clients fluctuent et évoluent.
  • Statut des conversations par intention : affiche les 10 intentions reconnues les plus fréquentes en fonction du statut des conversations.
  • Statut des conversations par libellé : affiche les 10 libellés de conversation les plus fréquents en fonction du statut des conversations.
  • Statut des conversations par langue : affiche le statut final des conversations par langue pour catégoriser et identifier les points à améliorer.
  • Statut des conversations par heure : affiche la répartition des conversations par statut dans le temps pour identifier les tendances.
  • Tendance du taux de déduction par langue : affiche la tendance du taux de déduction d’une semaine à l’autre et montre comment l’agent IA a redirigé les conversations avec des agents humains dans plusieurs langues. Indisponible pour les agents IA agentiques.
  • Répartition du taux de remontée : affiche la répartition des conversations remontées.
  • Tendance du taux de remontée par langue : affiche la tendance du taux de remontée d’une semaine à l’autre et met en évidence la fréquence à laquelle l’agent IA a remonté les conversations aux agents humains.
  • Tendance du taux de messages non reconnus par langue : affiche la tendance du taux de « Messages non compris » d’une semaine à l’autre, segmentée par langue, avec un seuil recommandé important de 20 %. Indisponible pour les agents IA agentiques.
  • Répartition du taux de messages non reconnus par langue : affiche une répartition des messages que l’agent IA n’a pas compris, segmentés par langue. Indisponible pour les agents IA agentiques.
  • Comparez les 10 libellés de conversation les plus fréquents en fonction de l’état final de la résolution personnalisée : affiche les 10 libellés de conversation les plus fréquents en fonction de l’état final de la résolution personnalisée.
  • Résolution personnalisée par langue : affiche l’état final de la résolution personnalisée des demandes de vos clients par langue pour identifier les points à améliorer.
  • Tendance du taux de résolution personnalisée par langue : affiche la tendance du taux de résolution personnalisée d’une semaine à l’autre, segmentée par langue, pour démontrer l’efficacité de l’agent IA dans sa capacité à fournir aux utilisateurs les informations nécessaires ou à répondre aux demandes.
  • Résolution personnalisée par intention : affiche les 10 intentions de conversation les plus fréquentes en fonction du statut de la résolution personnalisée.

Performances du cas d’utilisation

Remarque – Pour les agents IA basés sur les expressions, cette section fait référence aux « intentions » au lieu des « cas d’utilisation ».

Dans la section Performances du cas d’utilisation, vous pouvez consulter un tableau de vos cas d’utilisation, ainsi que leurs principales mesures de performances, notamment :

  • Conversation : le nombre de conversations avec ce cas d’utilisation sur le nombre total de conversations. Cliquez sur l’icône des conversations pour ouvrir les journaux de conversations, filtrés en fonction d’un cas d’utilisation spécifique.
  • BSAT moyen : le score BSAT moyen pour le cas d’utilisation.
  • Premier cas d’utilisation : la fréquence à laquelle le cas d’utilisation a été le premier cas d’utilisation identifié pendant une conversation.
  • Taux de résolution personnalisée : le taux de résolution personnalisée.
  • Taux de traitement par l’agent IA : le taux de traitement par l’agent IA.
  • Remontées : le nombre de transferts à un agent humain qui ont eu lieu pendant les conversations avec ce cas d’utilisation.
  • Remontées ayant échoué : le nombre de tentatives de transfert à un agent humain pendant les conversations avec ce cas d’utilisation qui ont échoué, car il n’y avait aucun agent en ligne ou disponible ou à cause d’une erreur technique.
  • Erreurs techniques : le nombre d’erreurs techniques qui ont eu lieu pendant les conversations avec ce cas d’utilisation. Pour des conseils de dépannage, consultez Analyse des erreurs techniques survenues dans le dialogue.

Utilisez le bouton % / # en haut à droite du tableau pour alterner entre pourcentage et chiffres bruts. Cliquez sur un titre pour trier le tableau en fonction de cette colonne.

Filtrage du tableau de bord

Vous pouvez filtrer les rapports du tableau de bord par période ou en fonction d’autres filtres, notamment la langue, le statut de la conversation, le libellé, l’intention ou les conversations tests.

Pour filtrer le tableau de bord par période

  1. Dans le tableau de bord Résumé des performances, en haut à droite, cliquez sur Période.
  2. En utilisant l’une des méthodes ci-dessous, sélectionnez les dates pour lesquelles vous voulez consulter les conversations :
    • Sélectionnez l’une des périodes prédéfinies sur la droite : Aujourd’hui, Hier, 7 derniers jours, 30 derniers jours, Ce mois-ci, Le mois dernier.
    • Sélectionnez une date de début et une date de fin spécifiques dans le calendrier.

Pour filtrer le tableau de bord en fonction d’autres filtres

  1. Dans le tableau de bord Résumé des performances, cliquez sur l’un des filtres suivants et sélectionnez ses valeurs en fonction des données que vous voulez afficher :
    • Langue : sélectionnez une ou plusieurs langues.
    • Statut de la conversation : choisissez un ou plusieurs des statuts suivantes :
      • Transfert à un agent : la conversation a été transférée à un agent humain.
      • Traitement par l’agent IA : la conversation avait une intention pertinente, n’a pas tenté de procéder à une remontée et s’est terminée sans que l’agent IA ait mal compris un message.
      • Remontée personnalisée : la conversation a fait l’objet d’une tentative de remontée personnalisée.
      • Remontée par e-mail : la conversation a été envoyée par e-mail à l’équipe d’assistance.
      • Échec de la remontée : la tentative de remontée de la conversation a échoué.
      • Sans statut
    • Libellé : sélectionnez un ou plusieurs libellés. Consultez Utilisation des libellés pour marquer le contenu des conversations pour les agents IA - Avancé.
    • Intention : sélectionnez une ou plusieurs intentions. Consultez À propos des intentions dans les agents IA - Avancé.
    • Avancé : sélectionnez Afficher les conversations tests pour inclure les conversations créées via le widget test.

  2. Cliquez sur Appliquer.
  3. Répétez les étapes ci-dessus pour appliquer des filtres supplémentaires.
Réalisé par Zendesk