Was ist die Konfusionsmatrix?
Die Konfusionsmatrix ist eine Visualisierung der Leistung eines KI-Modells, wobei die Absichtserkennung gemessen wird. Sie gibt also an, ob Ihr KI-Modell ähnliche Ausdrücke bei unterschiedlichen Absichten klar erkennen kann oder dadurch „verwirrt“ wird.
Die Konfusionsmatrix bietet Ihnen Zugriff auf dieselben Tools, die erstklassige KI-Spezialisten verwenden, und ermöglicht Ihnen, die Leistung Ihrer eigenen AI Agents leicht zu überwachen.
Jeden Dienstag wird automatisch eine neue Konfusionsmatrix generiert. Sie sehen also immer nur eine Konfusionsmatrix, die höchstens eine Woche alt ist, es sei denn, sie wird manuell aktualisiert. Im Allgemeinen ist dies völlig in Ordnung und stellt keinen Grund zur Besorgnis dar.
Wenn Ihr AI Agent kürzlich umfangreiches Training erhalten oder Sie größere Änderungen daran vorgenommen haben (Änderungen an Ausdrücken oder Absichten), sollten Sie so bald wie möglich ein neues Training durchführen.
Um eine Konfusionsmatrix neu zu trainieren, navigieren Sie zuerst zu Schulungscenter > Confusion Matrix und klicken Sie dann oben rechts auf Neu trainieren.
Wann sollte ich dies verwenden?
Verwenden Sie dies, wenn Sie bemerken, dass die Antwortrate für den AI Agent in den Analysen abnimmt (wir empfehlen eine Baseline von 80 %) oder wenn Sie feststellen, dass Ihr AI Agent regelmäßig Nachrichten unter der falschen Absicht kategorisiert.
Lesen der Konfusionsmatrix
Die beiden Dimensionen der X- und Y-Achse repräsentieren die tatsächlichen bzw. die prognostizierten Absichten.
Im obigen Beispiel enthalten Spalte 1 und Zeile 1 die tatsächliche und prognostizierte Absicht „Affirmativ“, Zeile 2 und Spalte 2 die Absicht „Negativ“ usw.
Je dunkler eine Zelle ist, desto stärker deckt sich eine prognostizierte Absicht mit einer tatsächlichen Absicht.
Ein gutes Modell wie im obigen Beispiel sollte eine dunkle Linie aufweisen, die diagonal über die Tabelle verläuft.
Was Sie jedoch beachten sollten, sind die farbigen Zellen außerhalb der diagonalen Linie: Diese zeigen an, wie oft Nachrichten in einer Absicht für eine andere prognostiziert werden. Wenn Sie Zellen mit dunkleren Farben außerhalb der Diagonalen sehen, liegt ein Problem mit der Genauigkeit des KI-Modells vor, das durch mögliche Überschneidungen der Ausdrücke zwischen zwei Absichten verursacht wird. Diese können Sie systematisch in der Problemlistenansicht beheben, in der alle sich überschneidenden Probleme automatisch nach Prioritätsstufe aufgelistet werden.
Verwandte Beiträge:
Verbessern der Leistung eines fortschrittlichen KI-Agenten mithilfe der Konfusionsmatrix