A/B-Tests bieten die Möglichkeit, verschiedene Arten von Besuchern zu unterscheiden, und das Erlebnis zu differenzieren. Mithilfe dieser A/B-Tests können Sie die Auswirkungen von Änderungen am Verhalten des AI Agent auf Ihre wichtigsten CX-KPIs analysieren, bevor Sie eine vorherige Version entfernen, und somit datengesteuerte Iterationen vornehmen.
Es gibt verschiedene Möglichkeiten, A/B-Tests im Arbeitsbereich für AI Agents durchzuführen.
API-/Label-basierte Unterscheidung
Sie können ein von einer API zurückgegebenes Feld oder ein im Dialogfluss gesetztes Label in einem konditionalen Block verwenden, um zu einem bestimmten Dialogpfad zu verzweigen.
Dabei können Sie beispielsweise folgende Unterscheidungskriterien verwenden:
Je nachdem, ob jemand eine Standardantwort ausgelöst hat, werden ihm unterschiedliche Antworten angezeigt.
Wenn nach der Willkommensnachricht statt der Absichtserkennung Schaltflächen verwendet werden, werden unterschiedliche Meldungen angezeigt.
Sie können ein beliebiges Feld aus dem CRM verwenden, um die Gruppe aufzuteilen. Dabei kann es sich um ein individuelles Kriterium wie den Kundenstatus oder um ein zufälligeres Kriterium wie den Standort handeln.
AI Agent-/Kanal-basierte Unterscheidung
Die Differenzierung des Erlebnisses anhand von Kanälen haben wir bereits empfohlen. Sie können den Kommunikationsstil aber auch über verschiedene Social-Media-Kanäle hinweg A/B-testen, indem Sie entweder verschiedene AI Agents verwenden oder anhand der Nachrichtenquelle (z. B. Facebook oder WhatsApp) unterscheiden.
Traffic_split API
Hinweis – Wenn Sie diese Möglichkeit nutzen möchten, aktivieren Sie de entsprechende Funktion in Ihrem CSM.
Bei dieser Methode wird eine Fake-Integration namens trafficSplit verwendet, um den inhaltsbasierten A/B-Test durchzuführen. Da die Logik in unserem Dashboard bereitgestellt wird, findet hierbei keine tatsächliche Datenübertragung statt. Die Fake-Integration ist für die zufällige Zuordnung der Kontrollgruppen erforderlich.
Einrichten der Unterscheidung von Gruppen
Diese Fake-Integration verwendet einen Parameter namens split.
Der [split]-Parameter ordnet Ihre Benutzer dynamisch und entsprechend der von Ihnen gewählten Verteilung der angegebenen Anzahl von Kontrollgruppen zu. Sie müssen die Verteilung also nicht selbst auf 100 % aufaddieren, sondern nur dafür sorgen, dass sie proportional ist. Hier einige Beispiele für proportionale Verteilungen:
1 = Eine Kontrollgruppe mit einem Anteil von 100 %
1,1 = Zwei Kontrollgruppen mit demselben Anteil von jeweils 50 %
1,1,1 = Drei Kontrollgruppen mit demselben Anteil von jeweils 33,333333333333 %
1,2,1 = Drei Kontrollgruppen, davon eine mit einem Anteil von 50 % und zwei (die Kontrollgruppe und eine Variante) mit einem Anteil von jeweils 25 %.
Sie können die Verteilung auch in Prozent angeben (z. B. 50,50). Wichtig ist nur das Verhältnis der Anteile zueinander.
Die Gruppen werden immer wie folgt benannt: Erste Gruppe [control], zweite Gruppe [variant_1], dritte Gruppe [variant_2] usw.
Die erste Gruppe ist immer die Kontrollgruppe [control].
Einrichten des Dialogs
Dieser Parameter muss spätestens beim Aufruf der Fake-Integration festgelegt werden. Um eine gleichmäßige und unvoreingenommene Verteilung Ihrer Benutzer zu gewährleisten, wird jedoch empfohlen, ihn bereits in der Willkommensantwort hinzuzufügen, sofern Ihr CRM dies unterstützt. Bei Bedarf können Sie ihn aber auch in den einzelnen Antworten festlegen, die Sie testen möchten.
- Legen Sie den split-Parameter in den Konversationsdaten als Zeichenfolge mit einem Label fest, das die Verteilung der Besucher auf die Konversationen angibt.
- Fügen Sie einen API-Integrationsblock hinzu und wählen Sie trafficSplit als Integrationsquelle aus.
Parameter erfassen: Wenn Sie den Parameter noch nicht festgelegt haben, sollten Sie ihn spätestens in der Verzweigung „Parameter erfassen“ auswählen. Wenn Sie diese Verzweigung nicht benötigen, können Sie sie auch ausblenden, indem Sie die AI-Agent-Nachricht löschen und die Sammlung einklappen.
Szenario Ergebnisse: Verwenden Sie diese Verzweigung, wie Sie wollen. Dieses Szenario dient nur einem Zweck, nämlich Ihre Konversation einer Kontrollgruppe zuzuweisen.
Szenario apiError: Da es sich nicht um eine echte API handelt, ist es äußerst unwahrscheinlich, dass ein API-Fehler auftritt. Fügen Sie zur Sicherheit trotzdem eine Fallback-Antwort hinzu, damit das Kundenerlebnis nicht beeinträchtigt wird und der AI Agent weiterhin funktioniert, wenn die Fake-Integration doch einmal fehlschlagen sollte. Sie können eine ganz normale Willkommensantwort ausgeben. Achten Sie einfach darauf, alle erforderlichen Parameter festzulegen, die in späteren Dialogen möglicherweise benötigt werden.- Speichern Sie Ihren Parameter in den Konversationsdaten, indem Sie ein Label für den Wert {{variant}} hinzufügen.
Außerdem wird empfohlen, im Erfolgspfad des Szenarios ein Konversationsdokument-Label hinzuzufügen, das alle einer Kontrollgruppe während des A/B-Tests zugewiesenen Konversationen angibt.
Verwenden von trafficSplit-Varianten
Im Prinzip können Sie direkt nach dem Anwenden der Ergebnisse Ihrer Fake-Integration abzweigen. Das ist aber nicht unbedingt erforderlich. Nachdem Sie jetzt einen [split]-Parameter mit den verschiedenen [variant]-Ergebnissen [control], [variant_1], [variant__2] usw. erstellt haben, können Sie zu jedem beliebigen Zeitpunkt abzweigen, indem Sie einen konditionalen Block einfügen.
In diesem trafficSplit bieten wir dem Kunden drei verschiedene Lösungen – zwei unterschiedliche Self-Service-Links und eine AI Agent-API. Alle Benutzer werden anhand ihres zufällig zugeordneten {{variant}}-Ergebnisses einem konditionalen Block zugewiesen. Das Fallback-Szenario dient dazu, einen äußerst unwahrscheinlichen apiError abzufangen. Richten Sie es so ein, dass das Kundenerlebnis nicht beeinträchtigt wird, und kennzeichnen Sie es in den Konversationsprotokollen, damit Sie den Fehler später leicht wiederfinden und beheben können.
Jetzt müssen Sie nur noch eine Erfolgsmetrik (z. B. „CSAT“ oder „Vom AI Agent bearbeitet“) definieren und Ihre [variant]-Ergebnisse mithilfe eines in den Variantenpfaden festgelegten Labels anhand dieser Metrik bewerten (oder alternativ per Tableau).