Teste A/B é um mecanismo que permite que a separação de visitantes diferencie a experiência. O teste A/B ajuda você a entender o impacto das alterações na experiência do agente de IA em seus KPIs mais valiosos da experiência do cliente antes de remover uma versão anterior, criando iterações baseadas em dados.
Há algumas maneiras de realizar o teste A/B no complemento Agentes de IA - Avançado.
Separação baseada em API/rótulo
Com base em um campo proveniente de uma API ou na configuração de um rótulo dentro do fluxo de diálogo, você pode usá-lo em um bloco condicional para conduzir os visitantes por diferentes caminhos.
Exemplos de critérios de separação podem ser baseados em:
Se alguém aciona uma resposta padrão, depois desse ponto, ele recebe respostas diferentes.
Se os botões forem usados após a mensagem de boas-vindas em vez do reconhecimento de intenção, mensagens diferentes serão exibidas.
No CRM, você pode usar qualquer campo que desejar para dividir o grupo. Pode ser uma escolha personalizada, como o status do cliente, ou algo mais aleatório, como a localização.
Separação baseada em canal/agente de IA
Diferenciar experiências com base em canais já é uma recomendação que fazemos. No entanto, o estilo de comunicação pode ser testado A/B em todos os canais de redes sociais, tendo diferentes Agentes de IA ou separando pela origem da mensagem, por exemplo, Facebook ou Whatsapp.
API Traffic_split
Observação: se você quiser utilizar esse recurso, entre em contato com seu CSM para ativá-lo.
Ele é executado usando uma integração, que estamos simulando para que nenhum dado real seja transferido, pois a lógica é hospedada em nosso painel, chamada TrafficSplit, para compilar o teste A/B baseado em conteúdo. A integração falsa é necessária para oferecer suporte à randomização da associação de grupos de controle.
Configuração da divisão de grupos
Essa integração falsa usa um parâmetro chamado split.
O parâmetro [split] distribuirá dinamicamente seu usuário para a quantidade e o compartilhamento de grupos de controle de sua escolha. Você não precisa adicionar o compartilhamento de até 100, apenas certifique-se de que eles são proporcionais. Abaixo, você encontra alguns exemplos de proporções divididas.
1 = 1 grupo de controle de 100%
1,1 = 2 grupos de controle com uma participação igual de 50% cada
1,1,1 = 3 grupos de controle com uma participação igual de 33,333333333333% cada
1,2,1 = 3 grupos de controle, um com 50% de compartilhamento e os outros 2 com 25% cada – o grupo de controle e 1 variante terão a divisão de 25%.
Você também pode configurá-los como porcentagens (ou seja, 50,50), o importante é a relação entre eles.
Os grupos sempre serão nomeados desta maneira: o primeiro grupo é [control], o segundo [variant_1], o terceiro [variant_2] ad infinitum.
O primeiro grupo sempre será o grupo [de controle].
Configuração do diálogo
Você pode definir esse parâmetro mais tarde na chamada de integração falsa; para garantir que sua base de usuários seja distribuída igualmente e sem viés, é recomendável adicionar isso à sua resposta de boas-vindas, se suportado pelo CRM. No entanto, ela pode ser definida na resposta individual ou nas respostas nas quais você deseja executar testes.
- Defina o parâmetro de divisão como uma cadeia de caracteres nos dados da conversa e um rótulo para identificar as conversas que chegam à divisão de visitantes.
- Adicione um bloco de integração da API e selecione TrafficSplit como a origem da integração.
-
Coletar divisão de parâmetro: se você ainda não definiu esse parâmetro, mais recente você deve selecioná-lo na ramificação Coletar parâmetros. A menos que você precise, você pode ocultar essa ramificação apagando a mensagem do agente de IA e recolhendo a coleção.
Resultados do cenário: use como quiser. Esse cenário faz apenas uma coisa: atribuir sua conversa a um grupo de controle.
Cenário apiError: é muito improvável que isso seja acionado, pois não é uma API real. No entanto, certifique-se de adicionar um fallback para que a experiência do cliente seja otimizada e o agente de IA possa continuar funcionando mesmo que a integração falsa seja inibida. Você pode fornecer uma resposta de boas-vindas como qualquer outra, mas certifique-se de definir todos os parâmetros obrigatórios que podem ser necessários para avançar nas caixas de diálogo posteriormente. - Salve seu parâmetro nos dados da conversa adicionando um rótulo para o valor {{variant}}.
No caminho de sucesso do cenário, também é recomendável adicionar um rótulo de documento de conversa para identificar todo o lote de conversas que foram atribuídas a um grupo de controle durante seu teste A/B.
Usar variantes de TrafficSplit
Tecnicamente, você pode ramificar imediatamente após a aplicação dos resultados da integração falsa, mas não é obrigado a fazer isso. Agora que você tem um parâmetro [split] com os resultados [variant] individuais de [control], [variant_1], [variant_2] etc., você pode ramificar isso a qualquer momento por meio dos Blocos condicionais.
Neste TrafficSplit, oferecemos três soluções diferentes para o cliente: dois links de autoatendimento diferentes e uma API de agente de IA. Todos os usuários receberão um bloco condicional com base em suas atribuições {{variant}}. O Fallback está aqui para oferecer suporte a um caso extremo de ApiError. Crie-o de maneira otimizada para os clientes e marque-o em registros de conversas para localizar e solucionar problemas facilmente no futuro.
Agora, você terá apenas que definir uma métrica de sucesso, ou seja, CSAT ou gerenciado pelo agente de IA, e executar seus resultados [variante] em relação a ela usando um rótulo definido nos caminhos da variante. Ou pelo Tableau.