Análisis del rendimiento de los agentes IA avanzados con el panel Resumen del rendimiento

¿Qué plan tengo?

Complemento

Agentes IA - Avanzado

El panel Resumen del rendimiento permite analizar a fondo los distintos aspectos de un agente IA avanzado para ver su desempeño. En él se puede consultar lo siguiente:

• Métricas clave sobre el volumen de visitantes, la administración de conversaciones y las oportunidades para mejorar
• Visualizaciones basadas en el volumen, el tiempo, el idioma, la resolución y la intención
• Métricas clave sobre el rendimiento de los casos de uso

En este artículo se tratan los siguientes temas:

• Acceder al panel
• Acerca de los informes
• Filtrar el panel

Artículos relacionados:

• Análisis de agentes IA avanzados con el panel Información general sobre el rendimiento
• Análisis de los flujos de conversación para agentes IA avanzados con el panel Recorrido de conversaciones
• Analizar el rendimiento de UltimateGPT para los agentes IA avanzados

Acceder al panel

El panel Resumen del rendimiento está disponible bajo Análisis en la barra lateral izquierda.

Para acceder al panel Resumen del rendimiento

1. En la esquina superior derecha, en el campo desplegable Agente IA, seleccione el agente IA que desea analizar.
2. En la barra lateral izquierda, haga clic en Análisis > Análisis de agente IA.
3. Seleccione la pestaña Resumen del rendimiento.

Acerca de los informes

El panel Resumen del rendimiento cuenta con las siguientes secciones:

• Información general sobre el rendimiento
• Análisis del rendimiento del agente IA
• Rendimiento de los casos de uso

Información general sobre el rendimiento

La sección Información general sobre el rendimiento ofrece información valiosa rápida de las métricas clave sobre el agente IA. Los informes de esta sección varían según lo que se haga:

• Analizar el rendimiento de un agente IA que no requiere entrenamiento o de uno basado en expresiones
• Analizar el rendimiento de un agente IA agéntico

Analizar el rendimiento de un agente IA que no requiere entrenamiento o de uno basado en expresiones

Cuando se analiza un agente IA que no requiere entrenamiento o uno basado en expresiones, la sección Información general sobre el rendimiento muestra los siguientes informes:

• Volumen de visitantes: muestra el número de conversaciones o mensajes manejados por el agente IA.
  • Si se selecciona Conversaciones en el menú desplegable, aparecerán las siguientes métricas adicionales:
    • Conversaciones con intención significativa: conversaciones que incluyen interacciones asociadas con temas frecuentes en las consultas de los usuarios.
    • Conversaciones entendidas por completo: conversaciones en las que todos los mensajes estaban por encima del umbral de confianza de comprensión.

      

  • Si se selecciona Mensajes en el menú desplegable, aparecerán las siguientes métricas adicionales:
    • Mensajes no reconocidos: conversaciones que incluyen interacciones en las que el agente IA no comprendió la consulta del usuario.
    • Mensajes reconocidos: conversaciones en las que el agente IA pudo encontrar una respuesta adecuada para la consulta del usuario.
• Conversaciones totalmente administradas: muestra el porcentaje de conversaciones manejadas por el agente IA o el índice de resoluciones personalizadas.
  • Si se selecciona Conversaciones manejadas por agente IA en el menú desplegable, aparecerán las siguientes métricas adicionales:
    • Índice de redirección: conversaciones que no se escalan a un agente humano.
    • Conversaciones sin estado: conversaciones que no tienen un estado de la conversación asignado automáticamente.

      

  • Si se selecciona Índice de resoluciones personalizadas en el menú desplegable, aparecerán las siguientes métricas adicionales:
    • Conversaciones informadas: conversaciones en las que el agente IA proporcionó instrucciones u orientación al usuario. Consulte Cuándo usar el estado informado si desea ver los detalles.
    • Conversaciones resueltas: conversaciones en las que se proporcionó una resolución significativa al usuario y no se hicieron más preguntas.
• Áreas para investigar: muestra el índice de escalamiento, el número de conversaciones fallidas o la puntuación de satisfacción del agente IA (BSAT).
  • Si se selecciona Conversaciones derivadas en el menú desplegable, aparecerán las siguientes métricas adicionales:
    • Índice de escalamiento: el porcentaje de conversaciones que se escalaron de un agente IA a un agente humano.
    • Derivaciones fallidas: el porcentaje de conversaciones en las que se intentó un escalamiento (derivación) a un agente humano pero no se pudo hacer porque no había ningún agente conectado o disponible.

      

  • Si se selecciona Conversaciones fallidas en el menú desplegable, aparecerán las siguientes métricas adicionales:
    • Acciones fallidas: conversaciones en las que no se pudo realizar una acción.
    • Errores técnicos: conversaciones en las que hubo un problema técnico con el agente IA o una integración. Puede darse, por ejemplo, cuando hay un error inesperado al tratar de conectarse a una API externa.
  • Si se selecciona BSAT en el menú desplegable, aparecerán las siguientes métricas adicionales:
    • Puntuación promedio del BSAT: la suma de todos los índices recopilados dividida por el número total de conversaciones en las que los usuarios han dado su opinión.
    • Índice de respuesta: el porcentaje de conversaciones en las que los clientes indicaron su índice de satisfacción.

      Si desea ver más detalles, consulte Análisis de la puntuación promedio de BSAT y el índice de respuesta.

Analizar el rendimiento de un agente IA agéntico

Cuando se analiza un agente IA agéntico, la sección Información general sobre el rendimiento muestra los siguientes informes:

• Volumen total de conversaciones: muestra el número real de conversaciones manejadas por el agente IA, así como el porcentaje de cambio con el tiempo.

  

• Conversaciones entendidas: muestra el porcentaje y el número real de conversaciones en las que se proporcionó una respuesta de una fuente de conocimiento o se estableció una coincidencia con un caso de uso, así como el porcentaje de cambio con el tiempo. Esto excluye la charlas triviales y las conversaciones escaladas directamente.

  Esta métrica se desglosa aún más en función de los siguientes tipos de respuesta:

  • Respuesta de caso de uso: el porcentaje y el número real de respuestas en conversaciones entendidas que gatillaron una respuesta de diálogo o un procedimiento.
  • Respuesta de Conocimiento: el porcentaje y el número real de respuestas en conversaciones entendidas que fueron generadas a partir de una fuente de conocimiento.
  • Respuesta híbrida: el porcentaje y el número real de respuestas en conversaciones entendidas que incluían una respuesta de caso de uso y una respuesta de conocimiento.

    

• Resoluciones automatizadas: muestra el porcentaje y el número real de resoluciones automatizadas, así como el porcentaje de cambio con el tiempo. Se cuentan como resoluciones automatizadas las conversaciones manejadas por un agente IA (para tickets de mensajería) y respondidas (para tickets de correo electrónico) que han pasado la verificación de nuestro modelo de lenguaje grande (LLM) y no requieren intervención humana. Los datos de las resoluciones automatizadas están disponibles únicamente a partir del 7 de octubre de 2024. Si desea más información sobre las resoluciones automatizadas, consulte Acerca de las resoluciones automatizadas para los agentes IA.

  Esta métrica se desglosa aún más en función de los siguientes tipos de respuesta:

  • Respuesta de caso de uso:
    • El porcentaje de conversaciones de resolución automatizada que se originaron en un diálogo y se entendieron.
    • El número real de respuestas en conversaciones de resolución automatizada que se originaron en un diálogo.
  • Respuesta de Conocimiento:
    • El porcentaje de conversaciones de resolución automatizada que fueron generadas por UltimateGPT y se entendieron.
    • El número real de conversaciones de resolución automatizada que fueron generadas por UltimateGPT.
  • Respuesta híbrida:
    • El porcentaje de conversaciones de resolución automatizada que provocaron una respuesta híbrida y se entendieron.
    • El número real de respuestas en conversaciones de resolución automatizada que incluían una respuesta híbrida.

      

• Otras conversaciones: muestra el porcentaje y el número real de conversaciones que no fueron resueltas automáticamente por el agente IA, así como el porcentaje de cambio con el tiempo. Esta métrica se desglosa aún más en función de los siguientes tipos de respuesta:
  • No entendido: muestra el porcentaje y el número real de respuestas del agente IA que no proporcionaron una respuesta de conocimiento o un caso de uso, y también los escalamientos directos.
    Nota: Esta métrica es diferente a los resultados del filtro Tipo de conversación > Conversaciones con mensajes no entendidos en los registros de conversación , que devuelve conversaciones en las que se gatilló una respuesta predeterminada y ocurrió un error al intentar hacer saneamiento, detectar entidades o detectar el idioma.
  • Conversaciones derivadas: el porcentaje y el número real de todas las conversaciones que se escalaron a un agente humano, sin importar si se entendieron o no.
  • Derivaciones fallidas y errores: el porcentaje y número real de otras conversaciones en las que no funcionó el intento de escalamiento o no se pudieron realizar otras acciones.

    

Análisis del rendimiento del agente IA

En la sección de análisis del rendimiento del agente IA, se pueden visualizar los datos. A la izquierda se encuentran las métricas relacionadas con el volumen. A la derecha, las métricas sobre tiempo, idioma, resolución e intención.

Al lado izquierdo de esta sección, seleccione uno de los siguientes informes en el menú desplegable:

• Duración de la automatización: tendencia general: muestra la tendencia semana tras semana del tiempo de manejo promedio en minutos.
• Índice de manejo del agente IA: tendencia general: muestra la tendencia semana tras semana en el índice de manejo del agente IA, además del porcentaje de conversaciones administradas de manera eficaz por el agente IA a lo largo del tiempo. No está disponible para los agentes IA agénticos.
• Puntuación de satisfacción general del agente IA: tendencia general: muestra la puntuación de satisfacción del agente IA a lo largo del tiempo en forma de tendencia (con una comparación semana a semana) y proporciona una representación visual de cómo fluctúan y evolucionan los niveles de satisfacción del cliente.
• Puntuación BSAT por intención: muestra la puntuación de BSAT para cada caso de uso.
• Conversaciones: muestra las tendencias diarias en las conversaciones de los clientes manejadas por el agente IA para identificar los picos de tráfico.
• Estado de la conversación: muestra la carga de trabajo del agente IA, segmentada por el estado de la conversación.
• Conversaciones con derivaciones fallidas: muestra el número de conversaciones en las que se intentaron escalamientos, pero sin éxito.
• Índice de redirección: tendencia general: muestra la tendencia semana tras semana del índice de redirección y refleja cómo el agente IA redirigió las conversaciones de los agentes humanos en varios idiomas.
• Índice de derivación: tendencia general: muestra la tendencia semana tras semana en el índice de escalamiento (derivación) y resalta la frecuencia con la que el agente IA escaló correctamente las conversaciones a los agentes humanos.
• Índice de mensajes reconocidos vs. no reconocidos: muestra la tendencia semana tras semana de los mensajes que el agente IA entendió y los que no reconoció, y proporciona información valiosa sobre sus capacidades de comprensión y las áreas de mejora en la administración de las consultas de los usuarios a lo largo del tiempo. No está disponible para los agentes IA agénticos.
• Idiomas: muestra la carga de trabajo del agente IA, segmentada por idioma. Esta disponible solo para los agentes IA agénticos.
• Desglose de idiomas no admitidos: muestra los idiomas que hablan los clientes y que el agente IA no admite.
• Resoluciones personalizadas de conversaciones por hora: muestra los estados de las resoluciones personalizadas finales de las consultas de los usuarios por hora para identificar posibles áreas de mejora. Se limita a las respuestas de diálogos.
• Resoluciones personalizadas de conversaciones: muestra los estados de las resoluciones personalizadas finales de las consultas de los usuarios para identificar áreas de mejora. Se limita a las respuestas de diálogos.
• Índice de resoluciones personalizadas: tendencia general: muestra la tendencia semana tras semana del índice de resoluciones personalizadas, destacando la eficiencia del agente IA para proporcionar a los usuarios la información necesaria o resolver consultas. Se limita a las respuestas de diálogos.
• Estado de la conversación por día y rótulo: muestra la carga de trabajo del agente IA, segmentada por rótulos de conversación para comprender los temas más frecuentes y cómo evolucionan con el tiempo.

Al lado derecho de esta sección, seleccione uno de los siguientes informes en el menú desplegable:

• Resoluciones automatizadas: tendencia general: muestra el volumen de resoluciones automatizadas a lo largo del tiempo en un gráfico.
• Tendencia de duración de la automatización por idioma: muestra la tendencia semana tras semana del tiempo de manejo promedio en minutos, segmentada por idioma.
• Tendencia de índices de manejo por agente IA por idioma: muestra la tendencia semana tras semana en el índice de manejo por agente IA, segmentada por idioma, así como el porcentaje de conversaciones administradas de manera efectiva únicamente por el agente IA a lo largo del tiempo. No está disponible para los agentes IA agénticos.
• Tendencia de la puntuación de satisfacción general del agente IA por idioma: muestra la puntuación de satisfacción del agente IA a lo largo del tiempo en una vista de tendencias, segmentada por idioma, y proporciona una representación visual de cómo fluctúan y evolucionan los niveles de satisfacción del cliente.
• Estado de la conversación por intención: muestra las 10 intenciones reconocidas con más frecuencia según el estado de la conversación.
• Estado de la conversación por rótulo: muestra los 10 rótulos de conversación más frecuentes según el estado de la conversación.
• Estado de la conversación por idioma: muestra el estado final de la conversación por idioma para categorizar e identificar posibles áreas de mejora.
• Estado de la conversación por hora: muestra la distribución de las conversaciones por estado a lo largo del tiempo para identificar tendencias.
• Tendencia del índice de redirección por idioma: muestra la tendencia semana tras semana del índice de redirección y refleja cómo el agente IA redirigió las conversaciones de los agentes humanos en varios idiomas. No está disponible para los agentes IA agénticos.
• Desglose del índice de derivación: muestra el desglose de las conversaciones escaladas correctamente.
• Tendencia del índice de derivaciones por idioma: muestra la tendencia semana tras semana en el índice de escalamiento (derivación) y resalta la frecuencia con la que el agente IA escaló correctamente las conversaciones a los agentes humanos.
• Tendencia de índice de mensajes no reconocidos por idioma: muestra la tendencia semana tras semana del índice de “Mensajes no entendidos”, segmentada por idioma, con un umbral recomendado notable del 20 %. No está disponible para los agentes IA agénticos.
• Desglose del índice de mensajes no reconocidos por idioma: muestra un desglose de los mensajes que el agente IA no entendió, segmentados por idioma. No está disponible para los agentes IA agénticos.
• Compare los 10 rótulos de conversación más frecuentes en función del estado de resoluciones personalizadas finales: muestra los 10 rótulos de conversación más frecuentes según el estado final de las resoluciones personalizadas.
• Resolución personalizada por idioma: muestra los estados de las resoluciones personalizadas finales de las consultas de los clientes por idioma para identificar posibles áreas de mejora.
• Tendencia del índice de resoluciones personalizadas por idioma: muestra la tendencia semana tras semana del índice de resoluciones personalizadas, segmentadas por idioma, destacando la eficiencia del agente IA para proporcionar a los usuarios la información necesaria o resolver consultas.
• Resolución personalizada por intención: muestra las 10 intenciones de conversación más frecuentes en función del estado final de la resolución personalizada.

Rendimiento de los casos de uso

Nota: Para los agentes IA basados en expresiones, esta sección hace referencia a "intenciones" en lugar de "casos de uso".

En la sección Rendimiento de los casos de uso, se ve una tabla con los casos de uso y sus métricas de rendimiento más importantes, incluido lo siguiente:

• Conversaciones: la proporción de conversaciones con este caso de uso. Haga clic en el icono de conversaciones para abrir los registros de conversación filtrados para el caso de uso especificado.
• BSAT promedio: la puntuación de BSAT promedio para el caso de uso.
• Primer caso de uso: la frecuencia con la que el caso de uso fue el primer caso de uso identificado durante una conversación.
• Índice de resoluciones personalizadas: el índice de resoluciones personalizadas.
• Índice de manejo por agente IA: el índice de manejo por agente IA.
• Escalamientos: cuántos escalamientos a un agente humano se produjeron durante las conversaciones con este caso de uso.
• Derivaciones fallidas: cuántos escalamientos a un agente humano se intentaron durante las conversaciones con este caso de uso, pero no fueron posibles porque no había agentes conectados o disponibles o debido a un error técnico.
• Errores técnicos: cuántos errores técnicos se produjeron durante las conversaciones con este caso de uso. Si necesita ayuda para la resolución de problemas, consulte Investigación de errores técnicos en el diálogo.

Use el conmutador % / # en la parte superior derecha de la tabla para alternar entre porcentajes y números sin procesar. Haga clic en cualquiera de los encabezados para ordenar la tabla en función de esa columna.

Filtrar el panel

Los informes del panel se pueden filtrar en función del periodo de tiempo u otros filtros (por ejemplo, idioma, estado de la conversación, rótulo, intención y conversaciones de prueba).

Para filtrar el panel en función del periodo de tiempo

1. En el panel Resumen del rendimiento, en la esquina superior derecha, haga clic en Periodo.
2. Utilice uno de los siguientes métodos para seleccionar las fechas para las cuales desea ver las conversaciones:
   • A la derecha, seleccione uno de los periodos predefinidos: Hoy, Ayer, Últimos 7 días, Últimos 30 días, Este mes, Último mes.
   • Seleccione las fechas concretas de inicio y finalización en el calendario.

     

Para filtrar el panel en función de otros filtros

1. En el panel Resumen del rendimiento, haga clic en uno de los siguientes filtros y seleccione los valores deseados según los datos que desee ver.
   • Idioma: seleccione uno o más idiomas.
   • Estado de la conversación: seleccione uno o más de estos estados:
     • Escalar a agente: la conversación se transfirió correctamente a un agente humano.
     • Manejado por agente IA: la conversación tenía una intención significativa, no se intentó un escalamiento y terminó sin que el agente IA malinterpretara el mensaje.
     • Escalamiento personalizado: la conversación tuvo un intento de escalamiento personalizado.
     • Escalamiento por correo electrónico: la conversación se envió correctamente por correo electrónico al equipo de soporte.
     • Escalamiento fallido: la conversación tuvo un intento fallido de escalamiento.
     • Sin estado
   • Rótulo: seleccione uno o mas rótulos. Consulte Uso de rótulos para etiquetar el contenido de las conversaciones para los agentes IA avanzados.
   • Intención: seleccione una o más intenciones. Consulte Acerca de las intenciones en los agentes IA avanzados.
   • Opciones avanzadas: seleccione Mostrar conversaciones de prueba para incluir las conversaciones creadas a través del widget de prueba.

     

2. Haga clic en Aplicar.
3. Repita los pasos de arriba para aplicar más filtros de ser necesario.