| Complemento | Agentes IA - Avanzado |
¿Qué es la matriz de confusión?
La matriz de confusión muestra el rendimiento de un modelo de IA a partir de la medición del reconocimiento de intenciones. En otras palabras, le indica si su modelo de IA es capaz de reconocer claramente expresiones similares bajo diferentes intenciones, o si está "confundido".
La matriz de confusión le ofrece acceso a las mismas herramientas que usan los científicos de IA de primer nivel. Esto le permite monitorear fácilmente el rendimiento de su propio agente IA.
Todos los martes por la noche, se genera automáticamente una nueva matriz de confusión, lo que significa que nunca tendrá más de una semana de antigüedad si no la actualiza manualmente. En general, esto es suficiente y no es motivo de preocupación.
Si recientemente entrenó extensamente a su agente IA o si implementó modificaciones importantes (como cambios en expresiones o intenciones), le recomendamos que vuelva a entrenarlo lo antes posible.
Para volver a entrenar una matriz de confusión, primero vaya a Centro de capacitación > Matriz de confusión y luego haga clic en Volver a entrenar en la esquina superior derecha.
¿Cuándo debo usarla?
Debe usarla cuando observe que el índice de respuesta del agente IA en los análisis está disminuyendo (recomendamos un valor de referencia del 80 %) o cuando observe que su agente IA categoriza frecuentemente los mensajes con una intención incorrecta.
Cómo leer la matriz de confusión
Las dos dimensiones, los ejes X e Y, representan las intenciones reales y previstas, respectivamente.
En el ejemplo anterior, la columna 1 y la fila 1 son la intención afirmativa real y prevista, la fila 2 y la columna 2 son la intención negativa, y así sucesivamente.
Cuanto más oscura es una celda, más se superpone la intención prevista con la real.
Un buen modelo, como el ejemplo de arriba, debería tener una línea oscura en diagonal a lo largo de la tabla.
Sin embargo, se debe prestar atención a las celdas coloreadas fuera de la diagonal, ya que representan la frecuencia con la que los mensajes de una intención se predicen entre sí. Cada vez que vea celdas con colores más oscuros fuera de la diagonal, es señal de que existe un problema en la precisión del modelo de IA causado por la posible superposición de expresiones entre dos intenciones. Puede resolverlos de manera sistemática en la lista de problemas, donde se enumeran automáticamente todos los problemas superpuestos según su prioridad.
Artículos relacionados:
Cómo usar la matriz de confusión para mejorar el rendimiento de un Agente IA avanzada
0 comentarios
Iniciar sesión para dejar un comentario.