Je komplexer das KI-Modell mit laufend neu hinzukommenden Absichten und Ausdrücken wird, desto wichtiger ist es, die Leistung des KI-Modells zu überwachen und Bereiche mit Verbesserungspotenzial zu identifizieren.
Wir bieten eine Reihe von Tools, mit denen Sie das KI-Modell zuverlässiger machen können.
Optimiertes Training
In dieser Schritt-für-Schritt-Anleitung zeigen wir, wie Sie Ihr Training mit unseren KI-basierten Tools optimieren können. Dies ist ein iterativer Prozess, der sowohl vor als auch nach der Einführung durchgeführt werden kann.
Schritt 1: Neues ausgewertetes Modell generieren
- Gehen Sie zu „KI > Modelle > + Neues Modell > Kreuzvalidierung ausführen markieren > AI Agent trainieren“.
- Dies kann mehrere Stunden dauern. Der Status durchläuft die Phasen In Warteschlange > Gestartet > Fertiggestellt. Sie können also sehen, wenn der Vorgang abgeschlossen ist.
- Tipp: Führen Sie dies über Nacht durch, wenn Sie das Training am folgenden Morgen durchführen wollen.
Schritt 2: Konfusionsmatrix analysieren
Gehen Sie zu „Training Center > Konfusionsmatrix“. Ermitteln Sie mithilfe der „Konfusionsmatrix“ und der „Problemliste“ verwenden, welche Absichten „verwirrend“ sind oder sich mit anderen Absichten überschneiden.
Gehen Sie für die Absichten mit den Werten „Mittel“ und „Hoch“ zu „Ausdrücke verwalten“, um eingehend zu untersuchen, welche Ausdrücke zur Verwirrung führen. Diese werden gelb hervorgehoben.
Stellen Sie folgende Fragen:
- Sind beide Absichten klar definiert? Ist der Umfang der einzelnen Absichten klar definiert? Tipp: Geben Sie in der Absichtsbeschreibung den Umfang der Absicht klar an.
- Überschneidet sich das Thema dieser Absicht oder ihr Ausdruck mit einer anderen Absicht? Ist es bei Überschneidungen sinnvoll, die Absichten zusammenzuführen?
- Hat die Absicht genügend Ausdrücke, um für sich allein zu bestehen? Hinweis: Je mehr Ausdrücke eine Absicht hat, desto stärker wird sie im Modell gewichtet. Falls eine Absicht also nicht erkannt wird, obwohl dies der Fall sein sollte, kann dies an nicht ausreichenden Trainingsdaten liegen.
Schritt 3: Aufgrund von Impact-Bericht trainieren
- Neuen Impact-Bericht generieren:
- Gehen Sie zu „KI > Impact-Bericht > + Neuer Bericht“.
- Wählen Sie „Aus vorhandenen Nachrichten“, wenn Sie bereits importierte Daten verwenden möchten, oder „Aus CRM“, wenn Sie zusätzliche Daten importieren möchten.
- Geben Sie den gewünschten Zeitraum an: Je nach dem ausgewählten Zeitraum und dem Nachrichtenvolumen kann dies zwischen 10 Minuten und einer Stunde dauern.
- Setzen Sie „Benchmark-Modell“ auf „Aktuelles Modell“ > Erstellen.
- Verwenden Sie den neuen Impact-Bericht für das Training. Verwenden Sie die Filter, um Ihr Training gezielter zu gestalten.
Nach Schritt 3 können Sie das evaluierte Modell erneut ausführen und prüfen, ob sich die Konfusionsmatrix verbessert hat.