Pruebas A/B es un mecanismo que permite separar a los visitantes para diferenciar la experiencia. Las pruebas A/B ayudan a comprender el impacto de los cambios en la experiencia del agente IA en los KPI de CX más valiosos antes de eliminar una versión anterior, lo que permite hacer iteraciones basadas en datos.
Hay varias maneras de realizar pruebas A/B dentro del complemento Agentes IA -Agentes IA – Avanzado.
Separación basada en API/etiqueta
En función de un campo proveniente de una API o estableciendo una etiqueta dentro del flujo de diálogo, se puede usar dentro de un bloque condicional para llevar a los visitantes por diferentes caminos.
Los ejemplos de criterios de separación podrían basarse en:
Si alguien activa una respuesta predeterminada, después de ese punto recibe respuestas diferentes.
Si se usan botones después del mensaje de bienvenida en lugar del reconocimiento de intención, se muestran mensajes diferentes.
Desde CRM, puede usar cualquier campo que desee para dividir el grupo. Podría ser una elección personalizada, como el estado del cliente, o algo más aleatorio, como la ubicación.
Separación basada en canal/ agente IA
La diferenciación de las experiencias en función de los canales ya es una recomendación que hacemos. Sin embargo, el estilo de comunicación se puede probar A/B en todos los canales sociales, ya sea teniendo diferentes Agentes IA o separándolos por el origen de la mensajería, por ejemplo, Facebook o Whatsapp.
API Traffic_split
Nota: Si desea utilizar esta capacidad, comuníquese con su CSM para activar esta función.
Esto se ejecuta usando una integración llamada TrafficSplit para compilar pruebas A/B basadas en contenido, que simulamos para que no se transfieran datos reales, dado que la lógica está alojada en nuestro panel. La integración simulada es necesaria para admitir la aleatorización de la vinculación de grupos de control.
Configurar la división de grupos
Esta integración simulada usa un parámetro llamado split.
El parámetro [split] distribuirá dinámicamente a su usuario a la cantidad y el porcentaje de grupos de control que elija; no es necesario que agregue el porcentaje hasta 100, solo asegúrese de que sean proporcionales. A continuación encontrará algunos ejemplos de proporciones divididas.
1 = 1 grupo de control del 100 %
1,1 = 2 grupos de control con una proporción igual del 50 % cada uno
1,1,1 = 3 grupos de control con una proporción igual del 33,333333333333 % cada uno
1,2,1 = 3 grupos de control, uno con una participación del 50 %, los otros 2 con una participación del 25 % cada uno; el grupo de control y 1 variante tendrán una división del 25 %.
También puede configurarlos como porcentajes (es decir, 50,50), lo importante es la relación entre ellos.
Los grupos siempre se nombrarán de esta manera: El primer grupo es [control], el segundo [variant_1], el tercero [variant_2] y así sucesivamente.
El primer grupo siempre será el grupo [control].
Configuración del diálogo
Este parámetro se puede establecer como más reciente en la llamada de integración falsa; para asegurarse de que la base de usuarios se distribuya de manera uniforme y sin sesgos, se recomienda agregar esto a su Respuesta de bienvenida, si el CRM lo admite. Sin embargo, se puede configurar en la respuesta o las respuestas individuales en las que desea realizar pruebas.
- Establezca el parámetro de división como una cadena en los datos de la conversación y una etiqueta para identificar las conversaciones que llegan a la división de visitantes.
- Agregue un bloque de integración de API y seleccione TrafficSplit como el origen de la integración
-
Recopilar división de parámetros: Si aún no ha configurado este parámetro, lo último que debe hacer es seleccionarlo en la rama Recopilar parámetros. A menos que lo necesite, puede ocultar esta rama borrando el mensaje del agente IA y contrayendo la colección.
Resultados del escenario: Úselo como desee. Este escenario solo hace una cosa: asignar la conversación a un grupo de control.
Scenario apiError: Es muy poco probable que esto se dispare, ya que no es una API real, sin embargo, solo asegúrese de agregar una alternativa para que la experiencia del cliente sea perfecta y el agente IA pueda seguir funcionando incluso si se inhibe la integración simulada. Puede dar una respuesta de bienvenida como cualquier otra, solo asegúrese de configurar todos los parámetros necesarios para avanzar en los diálogos más adelante. - Guarde su parámetro en los datos de la conversación agregando una etiqueta para el valor {{variant}}.
Dentro de la ruta de éxito del escenario, también se recomienda agregar un rótulo de documento de conversación para identificar todo el lote de conversaciones que fueron asignadas a un grupo de control durante la prueba A/B.
Usar variantes de TrafficSplit
Técnicamente, puede ramificarse inmediatamente después de que se hayan aplicado los resultados de la integración simulada, pero no es necesario. Ahora que tiene un parámetro [split] con los resultados individuales [variant] de [control], [variant_1], [variant_2], etc., puede bifurcarlo en cualquier momento que desee a través de bloques condicionales.
En esta división de tráfico, ofrecemos tres soluciones diferentes al cliente: dos vínculos de autoservicio diferentes y una API de agente IA. Todos los usuarios serán asignados a un bloque condicional en función del resultado de {{variant}} asignado aleatoriamente. La reserva (Fallback) existe para respaldar un caso extremo de ApiError: créela de una manera que sea transparente para los clientes y etiquétela en los registros de conversación para localizarla fácilmente y solucionar problemas en el futuro.
Ahora solo tendrá que definir una métrica de éxito, por ejemplo, CSAT o agente IA- Manejado, y comparar los resultados de [variant] con un rótulo establecido en las rutas de variantes. Como alternativa, puede hacerse mediante Tableau.