Die Konfidenz bestimmt, wie sicher der AI Agent ist, dass der empfangene Ausdruck mit einer Absicht übereinstimmt.
Wenn Sie auf eine Nachricht klicken, sehen Sie in Ihren Konversationsprotokollen, als was die Nachricht erkannt wurde und mit welcher Wahrscheinlichkeit es sich um die betreffende Absicht handelt.
 |
 |
Sie können wählen, wie hoch der Konfidenzschwellenwert sein soll – wie sicher muss der AI Agent sein, um eine Absichtsantwort zu senden?
Wir haben den Wert 60 als Konfidenzschwellenwert für den AI Agent festgelegt und haben festgestellt, dass die meisten unserer Benutzer einen Schwellenwert zwischen 50 % und 70 % als den optimalen Bereich wählen, von dem sie beim Trainieren des AI Agent am meisten profitieren. Aber Sie fragen sich vielleicht... Wie finden Sie heraus, welcher Konfidenzschwellenwert für Sie optimal ist?
Hierzu müssen Sie wissen, was geschieht, wenn Sie den Schwellenwert senken oder erhöhen. Was passiert, wenn der AI Agent einen Ausdruck auf einer der beiden Seiten des Schwellenwerts erhält?
In diesem Beitrag werden folgende Themen behandelt:
Festlegen des Konfidenzschwellenwerts
Bescheidene Anfänge
Wir können Ihnen empfehlen, zunächst mit einem höheren Konfidenzschwellenwert zu beginnen. Sobald Sie sich mit Ihren Absichtsantworten sicher sind, Ihrem AI Agent weitere Ausdrücke und mehr Training hinzugefügt und das Feedback Ihrer Benutzer berücksichtigt haben, können Sie experimentieren, indem Sie den Wert senken und sehen, ob sich dies auf andere Metriken auswirkt.
Festlegen des Konfidenzschwellenwerts
Den Konfidenzschwellenwert für den AI Agent finden Sie über Einstellungen > Allgemein > Konfidenzschwellenwert.
Hinweis: Basierend auf der Konfidenz eines Ausdruckskönnen Sie mithilfe von Bedingungsblöcken mit dem Parameter satisfaction_score unterschiedliche Antworten senden.
Konfidenzszenarien
Wenn eine Nachricht eingeht, wird die KI aktiv und vergleicht den Inhalt der Nachricht mit allen von Ihnen erstellten Absichten und ihrem Verständnis dieser Absichten und sucht nach einer Übereinstimmung. Anhand dieser Analyse wird schnell berechnet, wie wahrscheinlich es ist, dass die Nachricht einer dieser Absichten entspricht und wie genau sie mit der von der KI erstellten Repräsentation übereinstimmt. Die Schwellenwerte liegen zwischen 0 und 100. Wenn Sie als Konfidenzschwellenwert den Standardwert 60 verwenden, lösen alle Werte ab 60 die gefundene Absicht mit den zugehörigen Aktionen und Antworten aus.
- Falls der Wert über dem Schwellenwert liegt, wird die betreffende Absicht ausgelöst. Diese kann richtig oder falsch ermittelt worden sein – je niedriger der Schwellenwert ist, desto wahrscheinlicher ist es, dass eine falsche Absicht ausgelöst wird.
- Liegt der Wert unter dem Schwellenwert, wird eine Standardantwort gesendet.
- Ticketautomatisierung: Falls der Wert unter dem Schwellenwert liegt, wird keine Antwort gesendet, es sei denn, Sie haben etwas anderes konfiguriert.
Chatautomatisierung: Der Kunde wird möglicherweise in einer Eskalation weitergeleitet, je nachdem, wie Sie die Standardantwort gestaltet haben.
Je höher die Konfidenzschwellenwert ist, desto genauer ist die Antwort des AI Agent , aber dann werden auch mehr Standardantworten versandt. Deshalb müssen Sie fünf Aspekte berücksichtigen:
- Welche Vorteile möchten Sie mit dem AI Agent erzielen?
- Welche Kosten entstehen für Sie als Unternehmen und für Ihre Kunden, wenn der AI Agent falsch liegt?
- Was Kosten entstehen für Sie als Unternehmen und für Ihre Kunden, wenn der AI Agent die Standardantwort sendet?
- Was Kosten entstehen für Sie als Unternehmen und für Ihre Kunden, wenn Sie nichts tun oder eskalieren?
- Das Konversationsdesign in der Standardantwort
Überlegungen
Um den Konfidenzschwellenwert zu bestimmen, können Sie eine vollständige Analyse durchführen. Falls Sie jedoch nicht wissen, wie dies auf einfache Weise zu bewerkstelligen ist, können wir Ihnen mit einer „Entweder-oder“-Frage weiterhelfen.
| Was ist bei 100 Nachrichten besser? | |
| 50 potenziell falsche Antworten + 50 richtige Antworten | 100 Standardantworten/Keine Aktion durchgeführt |
| 40 potenziell falsche Antworten + 60 richtige Antworten | 100 Standardantworten/Keine Aktion durchgeführt |
| 30 potenziell falsche Antworten + 70 richtige Antworten | 100 Standardantworten/Keine Aktion durchgeführt |
| 20 potenziell falsche Antworten + 80 richtige Antworten | 100 Standardantworten/Keine Aktion durchgeführt |
Die Antwort hängt nun davon ab, wie Sie Ihre Absichtsantworten erstellt haben.
Sind die Konversationen flexibel gestaltet?
Sind entsprechende Optionen vorhanden, insbesondere bei ähnlichen Absichten wie Rückgabeprozess vs. Rückerstattungsanfrage? Hier gibt es viele mit Rücksendungen zusammenhängende Wörter, die beiden gemeinsam sind. Falls Sie sie jedoch bereits bei der ersten Nachricht wieder auf den richtigen Weg bringen können, hat die ausgelöste falsche Absicht weniger negative Auswirkungen.
Wie gut ist das Training?
Werden Absichten häufig verwechselt? Durch Analysieren der Konfusionsmatrix können Sie versuchen, Verwechslungen zu reduzieren, was sich positiv auf die Konfidenz auswirkt.