Welchen Plan habe ich
Add-on AI Agents – Advanced

Im Dashboard „Leistungszusammenfassung“ können Sie zahlreiche Aspekte eines AI Agent – Advanced genauer untersuchen, um zu sehen, wie leistungsstark er ist. Hier finden Sie folgende Informationen:

  • Wichtige Metriken zum Besuchervolumen, zur Konversationsverwaltung und zu Verbesserungsmöglichkeiten
  • Visualisierungen auf der Basis von Volumen, Zeit, Sprache, Lösung und Absicht
  • Wichtige Metriken zur Anwendungsfallleistung

In diesem Beitrag werden folgende Themen behandelt:

  • Aufrufen des Dashboards
  • Überblick über die Berichte
  • Filtern des Dashboards

Verwandte Beiträge:

  • Analysieren von AI Agents – Advanced mit dem Dashboard „Leistungsübersicht“
  • Analysieren von Konversationsflüssen für AI Agents – Advanced mit dem Dashboard „Conversation Journey“
  • Analysieren der UltimateGPT-Leistung für Agents – Advanced

Aufrufen des Dashboards

Das Dashboard „Leistungszusammenfassung“ finden Sie in der linken Seitenleiste unter „Analysen“.

So greifen Sie auf das Dashboard „Leistungszusammenfassung“ zu

  1. Wählen Sie oben rechts im Dropdownfeld „AI Agent“ den AI Agent aus, den Sie analysieren möchten.
  2. Klicken Sie in der linken Seitenleiste auf Analysefunktionen > AI Agent-Analysen.
  3. Klicken Sie auf die Registerkarte Leistungszusammenfassung.

Überblick über die Berichte

Das Dashboard „Leistungszusammenfassung“ ist in die folgenden Abschnitte unterteilt:

  • Leistungsübersicht
  • Analyse der AI Agent-Leistung
  • Leistung Anwendungsfall

Leistungsübersicht

Der Abschnitt „Leistungsübersicht“ bietet einen schnellen Überblick über wichtige Metriken zu Ihrem AI Agent. In diesem Abschnitt können von Fall zu Fall verschiedene Berichte angezeigt werden:

  • Analysieren der Leistung eines AI Agent ohne Training oder eines ausdrucksbasierten AI Agent
  • Analysieren der Leistung eines agentischen AI Agent

Analysieren der Leistung eines AI Agent ohne Training oder eines ausdrucksbasierten AI Agent

Wenn Sie einen AI Agent ohne Training oder einen ausdrucksbasierten AI Agent analysieren, erscheinen im Abschnitt „Leistungsübersicht“ die folgenden Berichte:

  • Besuchervolumen: Zeigt die Anzahl der vom AI Agent bearbeiteten Konversationen oder Nachrichten an.
    • Wenn im Dropdownmenü die Option Konversationen ausgewählt ist, werden die folgenden zusätzlichen Metriken angezeigt:
      • Konversationen mit sinnvollen Absichten: Konversationen, die Interaktionen im Zusammenhang mit häufigen Themen von Benutzeranfragen enthalten.
      • Konversationen vollständig verstanden: Konversationen, in denen alle Nachrichten über dem Konfidenzschwellenwert für verstandene Nachrichten lagen.

    • Wenn im Dropdownmenü die Option Nachrichten ausgewählt ist, werden die folgenden zusätzlichen Metriken angezeigt:
      • Nicht erkannte Nachrichten: Konversationen, die Interaktionen enthalten, bei denen der AI Agent die Benutzeranfrage nicht verstanden hat.
      • Erkannte Nachrichten: Konversationen, in denen der AI Agent die Benutzeranfrage einer passenden Antwort zuordnen konnte.
  • Vollständig verwaltete Konversationen: Zeigt den Prozentsatz vom AI Agent bearbeiteter Konversationen oder die Rate der angepassten Lösungen an.
    • Wenn im Dropdownmenü die Option Vom AI Agent bearbeitete Konversationen ausgewählt ist, werden die folgenden zusätzlichen Metriken angezeigt:
      • Vermeidungsrate: Konversationen, die nicht an einen menschlichen Agenten eskaliert wurden.
      • Konversationen ohne Status: Konversationen, die keinen automatisch zugewiesenen Konversationsstatus aufweisen.

    • Wenn im Dropdownmenü die Option Rate der angepassten Lösungen ausgewählt ist, werden die folgenden zusätzlichen Metriken angezeigt:
      • Informierte Konversationen: Konversationen, in denen der AI Agent Anweisungen oder Anleitungen für den Benutzer bereitgestellt hat. Weitere Informationen finden Sie unter Verwendung des Status „Informiert“.
      • Gelöste Konversationen: Konversationen, in denen dem Benutzer eine sinnvolle Lösung angeboten und keine weiteren Frage gestellt wurde.
  • Untersuchungsbereiche: Zeigt die Eskalationsrate, die Anzahl erfolgloser Konversationen oder den AI Agent-Zufriedenheitswert (BSAT-Wert) an.
    • Wenn im Dropdownmenü die Option Eskalierte Konversationen ausgewählt ist, werden die folgenden zusätzlichen Metriken angezeigt:
      • Eskalationsrate: Der Prozentsatz der Konversationen, die von einem AI Agent an einen menschlichen Agenten eskaliert wurden.
      • Fehlgeschlagene Eskalationen: Der Prozentsatz der Konversationen, die nicht an einen menschlichen Agenten eskaliert werden konnten, weil kein Agent online oder verfügbar war.

    • Wenn im Dropdownmenü die Option Erfolglose Konversationen ausgewählt ist, werden die folgenden zusätzlichen Metriken angezeigt:
      • Fehlgeschlagene Aktionen: Konversationen, in denen eine Aktion nicht ausgeführt werden konnte.
      • Technische Fehler: Konversationen, in denen ein technisches Problem mit dem AI Agent oder einer Integration aufgetreten ist. beispielweise ein unerwarteter Fehler beim Herstellung einer Verbindung zu einer externen API.
    • Wenn im Dropdownmenü die Option BSAT ausgewählt ist, werden die folgenden zusätzlichen Metriken angezeigt:
      • Durchschnittlicher BSAT-Wert: Die Summe aller gesammelten Bewertungen geteilt durch die Gesamtzahl der Konversationen, zu denen Benutzer Feedback abgegeben haben.
      • Antwortrate: Der Prozentsatz der Konversationen, zu denen Kunden eine Bewertung abgegeben haben.

        Weitere Informationen finden Sie unter Analysieren des durchschnittlichen BSAT-Werts und der Antwortquote.

Analysieren der Leistung eines agentischen AI Agent

Wenn Sie einen agentischen AI Agent analysieren, erscheinen im Abschnitt „Leistungsübersicht“ die folgenden Berichte:

  • Konversationsvolumen gesamt: Zeigt die Anzahl der vom AI Agent bearbeiteten Konversationen und ihre prozentuale Entwicklung im vergangenen Monat an.

  • Verstandene Konversationen: Zeigt den Prozentsatz und die Anzahl der Konversationen, in denen eine Antwort aus einer Wissensquelle bereitgestellt wurde oder die einem Anwendungsfall zugeordnet wurden, sowie die prozentuale Entwicklung im vergangenen Monat an. Smalltalk und direkt eskalierte Konversationen werden hierbei nicht berücksichtigt.

    Diese Metrik wird nach den folgenden Antworttypen aufgeschlüsselt:

    • Anwendungsfallantwort: Der Prozentsatz und die Anzahl der Antworten in verstandenen Konversationen, die eine Dialogantwort oder einen Ablauf ausgelöst haben.
    • Wissensantwort: Der Prozentsatz und die Anzahl der Antworten in verstandenen Konversationen, die anhand einer Wissensquelle generiert wurden.
    • Hybrid-Antwort: Der Prozentsatz und die Anzahl der Antworten in verstandenen Konversationen, die sowohl eine Anwendungsfallantwort als auch eine Wissensantwort enthielten.

  • Automatisierte Lösungen: Zeigt den Prozentsatz und die Anzahl automatisierter Lösungen sowie die prozentuale Entwicklung im vergangenen Monat an. Als automatisierte Lösungen zählen vom AI Agent bearbeitete Konversationen (Messaging-Tickets) und vom AI Agent beantwortete Konversationen (E-Mail-Tickets), die von unserem LLM (Large Language Model) als ohne menschliches Eingreifen gelöst eingestuft wurden. Daten zu automatisierten Lösungen sind erst ab dem 7. Oktober 2024 verfügbar. Weitere Informationen finden Sie im Beitrag Überblick über automatisierte Lösungen für AI Agents.

    Diese Metrik wird nach den folgenden Antworttypen aufgeschlüsselt:

    • Anwendungsfallantwort:
      • Der Prozentsatz automatisch gelöster Konversationen, die aus einem Dialog entstanden sind und verstanden wurden.
      • Die Anzahl der Antworten in automatisch gelösten Konversationen, die aus einem Dialog entstanden sind.
    • Wissensantwort:
      • Der Prozentsatz automatisch gelöster Konversationen, die von UltimateGPT generiert und verstanden wurden.
      • Die Anzahl automatisch gelöster Konversationen, die von UltimateGPT generiert wurden.
    • Hybrid-Antwort:
      • Der Prozentsatz automatisch gelöster Konversationen, in denen eine Hybrid-Antwort gegeben wurde und die verstanden wurden.
      • Die Anzahl der Antworten in automatisch gelösten Konversationen, die eine Hybrid-Antwort enthielten.

  • Weitere Konversationen: Zeigt den Prozentsatz und die Anzahl der Konversationen, die nicht automatisch vom AI Agent gelöst wurden, sowie die prozentuale Entwicklung im vergangenen Monat an. Diese Metrik wird nach den folgenden Antworttypen aufgeschlüsselt:
    • Nicht verstanden: Zeigt den Prozentsatz und die Anzahl der AI Agent-Antworten an, die keine Wissensantwort und keinen Anwendungsfall enthielten (ohne direkte Eskalationen).
      Hinweis: Diese Metrik unterscheidet sich von den Ergebnissen des Filters Konversationstyp > Konversationen mit nicht verstandenen Nachrichten in den Konversationsprotokollen, der Konversationen zurückgibt, in denen eine Standardantwort ausgelöst wurde und ein Fehler bei der Bereinigung, Entitätserkennung oder Spracherkennung aufgetreten ist.
    • Eskalierte Konversationen: Der Prozentsatz und die Anzahl aller verstandenen und nicht verstandenen Konversationen, die an einen menschlichen Agenten eskaliert wurden.
    • Fehlgeschlagene Eskalationen und Fehler: Der Prozentsatz und die Anzahl sonstiger Konversationen, bei denen die versuchte Eskalation oder eine Aktion fehlgeschlagen ist.

Analyse der AI Agent-Leistung

Im Abschnitt „Analyse der AI Agent-Leistung“ können Sie Ihre Daten visualisieren. Auf der linken Seite können Sie volumenbezogene Metriken und auf der rechten Seite zeit-, sprach-, lösungs- und absichtsbezogene Metriken anzeigen.

Wählen Sie in der Dropdownliste auf der linken Seite dieses Abschnitts einen der folgenden Berichte aus:

  • Automatisierungsdauer – Gesamttrend: Zeigt den wöchentlichen Trend der durchschnittlichen Bearbeitungszeit in Minuten.
  • AI Agent-Bearbeitungsrate – Gesamttrend: Zeigt den wöchentlichen Trend der AI Agent-Bearbeitungsrate und den Prozentsatz der Konversationen, die im jeweiligen Zeitraum effektiv vom AI Agent verwaltet wurden. Nicht für agentische AI Agents verfügbar.
  • AI Agent-Gesamtzufriedenheitswert – Gesamttrend: Zeigt eine Trendansicht (Wochenvergleich) des AI Agent-Zufriedenheitswerts sowie eine grafische Darstellung der Schwankungen und Entwicklungen der Kundenzufriedenheitswerte.
  • BSAT-Wert nach Absicht: Zeigt den BSAT-Wert für jeden Anwendungsfall.
  • Konversation: Zeigt die täglichen Trends in den vom AI Agent bearbeiteten Kundenkonversationen und lässt Datenverkehrsspitzen erkennen.
  • Konversationsstatus: Zeigt das Arbeitspensum des AI Agent nach Konversationsstatus aufgeschlüsselt an.
  • Konversationen mit fehlgeschlagenen Eskalationen: Zeigt die Anzahl der Konversationen, bei denen eine versuchte Eskalation fehlgeschlagen ist.
  • Vermeidungsrate – Gesamttrend: Zeigt den Trend der Vermeidungsrate im Zeitverlauf (Wochenvergleich) an und lässt erkennen, wie viele Konversationen in den verschiedenen Sprachen dank des AI Agent nicht von menschlichen Agenten bearbeitet werden mussten.
  • Eskalationsrate – Gesamttrend: Zeigt den wöchentlichen Trend der Eskalationsrate an und lässt erkennen, wie oft der AI Agent Konversationen erfolgreich an menschliche Agenten eskaliert hat.
  • Rate erkannter Nachrichten im Vergleich zur Rate nicht erkannter Nachrichten: Zeigt den wöchentlichen Trend der Nachrichten an, die der AI Agent verstanden bzw. nicht verstanden hat. So erhalten Sie Einblick in seine Verständnisfähigkeit und können Bereiche erkennen, in denen die Bearbeitung von Benutzeranfragen durch den AI Agent mit der Zeit verbessert werden kann. Nicht für agentische AI Agents verfügbar.
  • Sprachen: Zeigt das Arbeitspensum des AI Agent nach Sprachen aufgeschlüsselt an. Nur für agentische AI Agents verfügbar.
  • Aufgliederung nicht unterstützter Sprachen: Zeigt die Sprachen an, die Ihre Kunden sprechen und die Ihr AI Agent nicht unterstützt.
  • Angepasste Konversationslösungen nach Stunde: Zeigt den endgültigen Status der angepassten Lösungen Ihrer Benutzeranfragen in Stundenintervallen an und lässt Bereiche mit Verbesserungsbedarf erkennen. Die Daten sind auf Dialogantworten beschränkt.
  • Angepasste Konversationslösungen: Zeigt den endgültigen Status der angepassten Lösungen Ihrer Benutzeranfragen an und lässt Bereiche mit Verbesserungsbedarf erkennen. Die Daten sind auf Dialogantworten beschränkt.
  • Rate der angepassten Lösungen – Gesamttrend: Zeigt den Trend der Rate der angepassten Lösungen im Zeitverlauf (Wochenvergleich) an und gibt Aufschluss über die Effizienz des AI Agent beim Bereitstellen erforderlicher Informationen für Benutzer bzw. beim Lösen von Anfragen. Die Daten sind auf Dialogantworten beschränkt.
  • Konversationsstatus nach Tag und Label: Zeigt das Arbeitspensum des AI Agent nach Konversationslabels an und lässt die häufigsten Themen und ihre Entwicklung im Laufe der Zeit erkennen.

Wählen Sie in der Dropdownliste auf der rechten Seite dieses Abschnitts einen der folgenden Berichte aus:

  • Automatisierte Lösungen – Gesamttrend: Zeigt die Entwicklung des Volumens automatisierter Lösungen im Zeitverlauf an.
  • Automatisierungsdauer-Trend nach Sprache: Zeigt den wöchentlichen Trend der durchschnittlichen Bearbeitungszeit in Minuten an, segmentiert nach Sprache.
  • AI Agent-Bearbeitungsrate – Trend nach Sprache: Zeigt den wöchentlichen Trend der AI Agent-Bearbeitungsrate (segmentiert nach Sprache) sowie den Prozentsatz der Konversationen an, die im jeweiligen Zeitraum effektiv ausschließlich durch den AI Agent bearbeitet wurden. Nicht für agentische AI Agents verfügbar.
  • AI Agent-Gesamtzufriedenheitswert nach Sprache: Zeigt eine Trendansicht des AI Agent-Zufriedenheitswerts (segmentiert nach Sprache) sowie eine grafische Darstellung der Schwankungen und Entwicklungen der Kundenzufriedenheitswerte.
  • Konversationsstatus nach Absicht: Zeigt die zehn am häufigsten erkannten Absichten nach Konversationsstatus an.
  • Konversationsstatus nach Label: Zeigt die zehn häufigsten Konversationslabels nach Konversationsstatus an.
  • Konversationsstatus nach Sprache: Zeigt den endgültigen Status der Konversationen nach Sprache an und lässt Bereiche mit Verbesserungsbedarf erkennen.
  • Konversationsstatus nach Zeit: Zeigt die Verteilung der Konversationen nach Status im Zeitverlauf an und lässt Trends erkennen.
  • Vermeidungsraten-Trend nach Sprache: Zeigt den Trend der Vermeidungsrate im Zeitverlauf (Wochenvergleich) an und lässt erkennen, wie viele Konversationen in den verschiedenen Sprachen dank des AI Agent nicht von menschlichen Agenten bearbeitet werden mussten. Nicht für agentische AI Agents verfügbar.
  • Aufgliederung der Eskalationsrate: Zeigt die Aufschlüsselung der erfolgreich eskalierten Konversationen an.
  • Eskalationsraten-Trend nach Sprache: Zeigt den wöchentlichen Trend der Eskalationsrate an und lässt erkennen, wie oft der AI Agent Konversationen erfolgreich an menschliche Agenten eskaliert hat.
  • Trend zur Rate nicht erkannter Nachrichten nach Sprache: Zeigt den wöchentlichen Trend der Rate „Nachrichten nicht verstanden“ aufgeschlüsselt nach Sprache und mit einer empfohlenen deutlichen Schwellenlinie von 20 %. an. Nicht für agentische AI Agents verfügbar.
  • Aufgliederung der Rate nicht erkannter Nachrichten nach Sprache: Zeigt eine Aufschlüsselung der vom AI Agent nicht verstandenen Nachrichten nach Sprache an. Nicht für agentische AI Agents verfügbar.
  • Vergleich der zehn häufigsten Konversationslabels basierend auf dem endgültigen Status der angepassten Lösung: Zeigt die zehn häufigsten Konversationslabels basierend auf dem endgültigen Status der angepassten Lösung an.
  • Angepasste Lösung nach Sprache: Zeigt den endgültigen Status der angepassten Lösungen Ihrer Kundenanfragen nach Sprache an und lässt Bereiche mit Verbesserungsbedarf erkennen.
  • Rate der angepassten Lösungen – Trend nach Sprache: Zeigt den Trend der Rate der angepassten Lösungen im Zeitverlauf (Wochenvergleich, segmentiert nach Sprache) an, und gibt Aufschluss über die Effizienz des AI Agent beim Bereitstellen erforderlicher Informationen für Benutzer bzw. beim Lösen von Anfragen.
  • Angepasste Lösung nach Absicht: Zeigt die zehn häufigsten Konversationsabsichten basierend auf dem endgültigen Status der angepassten Lösung an.

Leistung Anwendungsfall

Hinweis: Bei ausdrucksbasierten AI Agents werden in diesem Abschnitt keine „Anwendungsfälle“, sondern „Absichten“ dargestellt.

Im Abschnitt „Leistung Anwendungsfall“ sehen Sie eine Tabelle Ihrer Anwendungsfälle und ihrer wichtigsten Leistungsmetriken:

  • Konversation: Gesamtanzahl aller Konversationen, in denen dieser Anwendungsfall vorkam. Klicken Sie auf das Symbol „Konversationen“, um die nach dem jeweiligen Anwendungsfall gefilterten Konversationsprotokolle aufzurufen.
  • Durchschnittliche BSAT Durchschnittlicher BSAT-Wert für den Anwendungsfall.
  • Erster Anwendungsfall: Wie oft der betreffende Anwendungsfall als erster Anwendungsfall in einer Konversation identifiziert wurde.
  • Rate der angepassten Lösungen: Die Rate der angepassten Lösungen.
  • Rate „Vom AI Agent bearbeitet“ Die Rate „Vom AI Agent bearbeitet“.
  • Eskalationen: Wie oft es bei diesem Anwendungsfall zu einer Eskalation (Weiterleitung zu einem menschlichen Agenten) kam.
  • Fehlgeschlagene Eskalationen: Wie viele Eskalationsversuche (Weiterleitung zu einem Live-Agenten) bei Konversationen mit diesem Anwendungsfall unternommen wurden, aber nicht erfolgreich waren, weil kein Agent online oder verfügbar war oder weil ein technischer Fehler aufgetreten ist.
  • Technische Fehler: Wie oft es bei Konversationen mit diesem Anwendungsfall zu technischen Fehlern kam. Hilfe bei der Fehlerbehebung finden Sie unter Untersuchen technischer Fehler im Dialog.

Mit dem Schalter % / # oben rechts in der Tabelle, um zwischen Prozentsätzen und rohen Zahlen zu wechseln. Klicken Sie auf eine Spaltenüberschrift, um die Tabelle nach der betreffenden Spalte zu sortieren.

Filtern des Dashboards

Sie können die Berichte des Dashboards nach Zeitraum oder anderen Kriterien wie Sprache, Konversationsstatus, Label, Absicht und Testkonversationen filtern.

So filtern Sie das Dashboard nach Zeitraum

  1. Klicken Sie im Dashboard „Leistungszusammenfassung“ oben rechts auf Zeitraum.
  2. Wählen Sie den Zeitraum aus, für den Sie Konversationen anzeigen möchten. Sie haben zwei Möglichkeiten:
    • Klicken Sie auf der rechten Seite auf einen der vordefinierten Zeiträume: Heute, Gestern, Letzte 7 Tage, Letzte 30 Tage, Dieser Monat, Letzter Monat
    • Klicken Sie im Kalender auf den ersten und den letzten Tag des gewünschten Zeitraums.

So filtern Sie das Dashboard nach anderen Kriterien

  1. Klicken Sie im Dashboard „Leistungszusammenfassung“ auf einen der folgenden Filter und stellen Sie ihn so ein, dass die gewünschten Daten angezeigt werden:
    • Sprache: Wählen Sie eine oder mehrere Sprachen aus.
    • Konversationsstatus: Wählen Sie einen oder mehrere der folgenden Status aus:
      • Agenteneskalation: Die Konversation wurde erfolgreich an einen menschlichen Agenten weitergeleitet.
      • Vom AI Agent bearbeitet: Die Konversation hatte eine sinnvolle Absicht, es wurde nicht versucht, die Konversation zu eskalieren, und sie endete, ohne dass der AI Agent die Nachricht falsch verstanden hat.
      • Angepasste Eskalation: Die Konversation umfasste eine versuchte angepasste Eskalation.
      • E-Mail-Eskalation: Die Konversation wurde erfolgreich per E-Mail an das Supportteam gesendet.
      • Eskalation fehlgeschlagen: Die Konversation umfasste einen fehlgeschlagenen Eskalationsversuch.
      • Kein Status
    • Label: Wählen Sie ein oder mehrere Labels aus. Siehe Kennzeichnen von Konversationsinhalten mit Labels für AI Agents – Advanced.
    • Absicht: Wählen Sie eine oder mehrere Absichten aus . Siehe Überblick über Absichten für AI Agents – Advanced.
    • Erweitert: Klicken Sie auf Testkonversationen anzeigen, um Konversationen einzuschließen, die mit dem Test-Widget erstellt wurden.

  2. Klicken Sie auf Anwenden.
  3. Wiederholen Sie bei Bedarf die oben beschriebenen Schritte, um weitere Filter anzuwenden.
Powered by Zendesk