La matrice di confusione fornisce una visualizzazione settimanale delle prestazioni di un modello AI , misurate in base al riconoscimento dello scopo. Mostra se il tuo modello AI è in grado di riconoscere distintamente espressioni simili con scopi diversi o se è confuso da esse. Queste informazioni possono aiutarti a comprendere le prestazioni degli agenti AI .
Nel valutare le prestazioni agenti AI , potresti scoprire che un messaggio che prevedi venga riconosciuto come uno scopo viene preso come un altro scopo perché due scopi si sovrappongono nelle loro espressioni. Puoi usare la matrice di confusione per capire dove si verifica la sovrapposizione. Puoi quindi usare tali informazioni per adattare le espressioni addestrate manualmente per eliminare le incoerenze e migliorare le prestazioni.
C’è anche un elenco di problemi che puoi ordinare in base alla priorità per aiutarti a determinare su cosa lavorare.
Questo articolo include i seguenti argomenti:
Visualizzazione della matrice di confusione
La matrice di confusione è una griglia con codice colore che indica le prestazioni del modello in termini di comprensione degli scopi. Un buon modello dovrebbe avere una linea scura che corre in diagonale sul tavolo.
Dovresti rivedere la matrice di confusione quando noti che il tasso di risposte agenti AI sta diminuendo. Si consiglia un valore di base dell’80%. Potresti anche rivedere la matrice di confusione se noti che il tuo agenti AI classifica regolarmente i messaggi con lo scopo sbagliato.
Per visualizzare la matrice di confusione
- In agenti AI - Avanzati, fai clic su Centro di formazione nella barra laterale, quindi seleziona Matrice confusione.
- Fai clic sulla scheda Matrice confusione in alto.
Le due dimensioni, gli assi X (orizzontale) e Y (verticale), rappresentano rispettivamente gli scopi effettivi e previsti. In questo esempio, la colonna 1 e la riga 1 sono lo scopo effettivo e previsto Affermativo, la riga 2 e la colonna 2 sono lo scopo Negativo e così via.
- Esamina le celle colorate nella matrice.
Più scura è la cella, più uno scopo previsto si sovrappone a uno scopo effettivo. Un buon modello dovrebbe avere una linea scura che corre in diagonale sul tavolo.
Le celle colorate al di fuori della diagonale rappresentano la frequenza con cui i messaggi in uno scopo vengono previsti per un altro. Le celle con colori più scuri al di fuori della diagonale indicano un problema nell’accuratezza del modello AI causato da potenziali sovrapposizioni di espressioni tra due scopi.
Successivamente, puoi visualizzare l’elenco dei problemi in cui i problemi sovrapposti vengono elencati automaticamente in base alla priorità.
Visualizzazione dei problemi sollevati nella matrice di confusione
Puoi usare l’elenco dei problemi per approfondire i problemi emersi nella matrice di confusione. I problemi di sovrapposizione vengono elencati automaticamente in base alla priorità alta, media o bassa per aiutarti a determinare su cosa concentrarti.
Per accedere all’elenco dei problemi
- In agenti AI - Avanzati, fai clic su Centro di formazione nella barra laterale, quindi seleziona Matrice confusione.
- Fai clic sulla scheda Elenco di problemi in alto.
- Fai clic sull’intestazione Priorità per ordinare in base alla priorità.
- Usa i filtri Avanzate per definire il livello di confusione, se necessario, oppure usa la ricerca per trovare uno scopo specifico che ritieni possa causare confusione con altri scopi.
- Fai clic su Risolvi problema, quindi su Gestisci espressioni per aprire la vista di gestione delle espressioni.
- Per gestire gli elementi evidenziati:
- Fai clic sulle frecce sinistra e destra per spostare un’espressione su uno scopo diverso.
- Fai clic sulla x per eliminare l’espressione.
- Intraprendi una delle seguenti azioni mentre scorri gli elementi evidenziati:
- Annulla il training delle espressioni o spostale nell’altro scopo.
-
Crea un nuovo scopo con queste espressioni.
- Unisci gli scopi se devono essere gli stessi.
- Aiuta il tuo modello AI ad apprendere addestrando più espressioni per questi due scopi confusi. Fallo solo se sei assolutamente certo che i due scopi siano molto diversi e debbano essere separati.
- Fai clic su Contrassegna come risolta per tenere traccia dei tuoi progressi.
Nuovo addestramento della matrice di confusione
La matrice di confusione viene generata automaticamente ogni martedì sera (fuso orario del Pacifico).
Se il tuo agenti AI ha seguito di recente una formazione approfondita o se sono state apportate modifiche importanti (modifiche alle espressioni o agli scopi), puoi eseguire la riqualificazione manuale al di fuori della pianificazione.
Per riqualificare una matrice di confusione
- In agenti AI - Avanzati, fai clic su Centro di formazione nella barra laterale, quindi seleziona Matrice confusione.
- Fai clic su Re-training nell’angolo in alto a destra.
Avvertenza sulla traduzione: questo articolo è stato tradotto usando un software di traduzione automatizzata per fornire una comprensione di base del contenuto. È stato fatto tutto il possibile per fornire una traduzione accurata, tuttavia Zendesk non garantisce l'accuratezza della traduzione.
Per qualsiasi dubbio sull'accuratezza delle informazioni contenute nell'articolo tradotto, fai riferimento alla versione inglese dell'articolo come versione ufficiale.