La confianza determina qué tan seguro está el agente IA de que la expresión recibida coincide con una intención.
Esto se puede ver en los registros de conversaciones cuando se hace clic en cualquier mensaje para ver cómo fue reconocido y el porcentaje de confianza que tenía de que era esa intención.
 |
 |
Tiene la posibilidad de elegir cuál desea que sea el umbral de confianza: ¿Qué tan seguro debe estar el agente IA para enviar una respuesta de intención?
Establecimos el umbral de confianza para el agente IA en 60, y observamos que la mayoría de nuestros usuarios tienen el umbral establecido en algún lugar entre el 50 % y el 70 % como el punto óptimo que proporciona el mayor valor al entrenar al agente IA. Pero quizás se esté preguntando… ¿Cómo sabe cuál es el mejor umbral de confianza para usted?
Para decidir esto, es necesario saber qué sucede cuando se baja o se sube el umbral. ¿Qué sucede cuando el agente IA recibe una expresión a cualquier lado del umbral?
En este artículo veremos:
Configuración del umbral de confianza
Al principio
Un enfoque que podemos recomendar es que al principio, comience con un umbral de confianza más alto, una vez que se sienta seguro de sus respuestas de intención, haya agregado más expresiones y entrenamiento a su agente IA, y haya tenido en cuenta los comentarios de sus usuarios puede experimentar bajándolo y ver si afecta otras métricas.
Configuración del umbral de confianza
El umbral de confianza de su agente IA se puede encontrar en Configuración > General > Umbral de confianza
Nota:en función de la confianza de una expresión, se pueden enviar distintas respuestas usando bloques condicionales con el parámetro trust_score.
Escenarios de confianza
Cuando llega un mensaje, la IA se pone en marcha y compara el contenido del mensaje con todas las intenciones que ha creado y su comprensión de ellas, para ver si puede encontrar una coincidencia. En función de este análisis, hará algunos cálculos rápidos para determinar qué nivel de confianza cree que pertenece a una de esas intenciones, en cuanto a qué tan cerca se parece a esta representación que ha creado la IA. Los umbrales van de 0 a 100 y si tiene el umbral de confianza predeterminado de 60, todo lo que esté en 60 o más disparará la intención con la que se hizo coincidir junto con las acciones y respuestas subsiguientes.
- Si está por encima del umbral, se activa esa intención, lo que puede ser correcto o incorrecto. Cuanto más bajo sea el umbral, más probable es que se active una intención incorrecta.
- Si está por debajo del umbral, se enviará una respuesta predeterminada.
- Para la automatización de tickets, si está por debajo del umbral, no se envía ninguna respuesta a menos que se haya configurado de otra manera.
Para la automatización de chat, podría ser que el cliente sea derivado, según cómo se haya diseñado la respuesta predeterminada.
Cuanto más alto sea el umbral de confianza, más preciso será el agente IA, pero se enviarán más respuestas predeterminadas. Por lo tanto, debe tener en cuenta cinco cosas:
- ¿Cuáles son los beneficios que espera obtener con el agente IA?
- ¿Cuánto le cuesta a usted como negocio y a sus clientes que el agente IA se equivoque?
- ¿Cuánto le cuesta a usted como negocio y a sus clientes que el agente IA envíe la respuesta predeterminada?
- ¿Cuánto le cuesta a usted como negocio y a sus clientes no hacer nada o derivar la consulta?
- El diseño de la conversación en la respuesta predeterminada
Consideraciones
Para determinar el umbral de confianza, puede ejecutar un análisis completo. Sin embargo, si está buscando cómo hacerlo de una manera sencilla, podemos hacerle una pregunta de una cosa o la otra.
| En 100 mensajes, ¿cuál es mejor? | |
| 50 respuestas potencialmente incorrectas + 50 respuestas correctas | 100 respuestas predeterminadas / No se tomó ninguna acción |
| 40 respuestas potencialmente incorrectas + 60 respuestas correctas | 100 respuestas predeterminadas / No se tomó ninguna acción |
| 30 respuestas potencialmente incorrectas + 70 respuestas correctas | 100 respuestas predeterminadas / No se tomó ninguna acción |
| 20 respuestas potencialmente incorrectas + 80 respuestas correctas | 100 respuestas predeterminadas / No se tomó ninguna acción |
Ahora, la respuesta dependerá de cómo se hayan creado las respuestas de intención.
¿Las conversaciones están diseñadas de manera flexible?
¿Tienen la opción, especialmente en intenciones similares, como Proceso de devolución o Consulta de reembolso? Comparten muchas palabras comunes sobre las devoluciones, por lo que la probabilidad de confusión es mayor, pero si en el primer mensaje se puede volver a encarrilar, la intención incorrecta que se activa tiene un impacto negativo menor.
¿Qué tan bueno es el entrenamiento?
¿Hay mucha confusión entre las intenciones? Al analizar la matriz de confusión, puede intentar reducir la confusión, lo que tendrá un impacto positivo en la confianza.