A confiança determina o nível de certeza que o agente de IA tem de que a expressão recebida corresponde à uma intenção.
Ao clicar em qualquer mensagem nos Registros de conversa é possível verificar como ela foi reconhecida e a porcentagem de confiança de que a mensagem corresponde à intenção.
 |
 |
É possível escolher qual o limite de confiança. Qual o nível de certeza que o agente de IA precisa ter para enviar uma resposta de intenção?
Definimos o limite de confiança do agente de IA como 60% e descobrimos que a maioria de nossos usuários tem o limite definido entre 50% e 70% como o ponto ideal que oferece mais valor ao treinar o agente de IA. Mas você deve estar se perguntando: como sei qual é o melhor limite de confiança no meu caso?
Para poder tomar uma decisão, você precisa saber o que acontece quando diminui ou aumenta o limite. O que acontece quando o agente de IA recebe uma expressão que está abaixo ou acima do limite?
Neste artigo, abordaremos:
Configuração do limite de confiança
No início
Uma abordagem que podemos recomendar é que, no início, comece com um limite de confiança mais alto. Assim que você se sentir confiante nas suas Respostas de intenção, tiver adicionado mais expressões e treinamento ao seu agente de IA e levado em consideração o feedback dos seus usuários, você pode experimentar diminuir o limite e observar se isso afeta outras métricas.
Configuração do limite de confiança
O limite de confiança do seu agente de IA pode ser encontrado em Configurações > Geral > Limite de confiança.
Observação: com base na confiança de uma expressão, você pode enviar respostas diferentes usando blocos condicionais com o parâmetro confidence_score.
Cenários de confiança
Quando uma mensagem chega, a IA entra em ação e compara o conteúdo da mensagem com todas as intenções que você criou e a compreensão que a própria IA tem de tal mensagem para ver se consegue encontrar uma correspondência. Com base nessa análise, a IA faz alguns cálculos rápidos para determinar qual é o limite de confiança de que a mensagem corresponde a uma determinada intenção, de acordo com a correspondência que mais se aproxima ao que a IA gerou. Os limites vão de 0 a 100 e, se o limite de confiança tiver sido definido com o padrão de 60, tudo o que estiver em 60 ou acima desse limite acionará a intenção à qual corresponde, juntamente com as ações e respostas subsequentes.
- Se a mensagem estiver acima do limite, a intenção correspondente, que pode estar correta ou não, será acionada. Quanto mais baixo for definido o limite, maior é a probabilidade de que uma intenção errada seja acionada.
- Se a mensagem estiver abaixo do limite, será enviada uma resposta padrão.
- No caso da automação de tickets, se estiver abaixo do limite, nenhuma resposta será enviada, a menos que você tenha configurado o contrário.
No caso da automação de chat, pode ser que o cliente seja transferido, dependendo de como você projetou sua resposta padrão.
Quanto maior o limite de confiança, mais preciso será o agente de IA, mas mais respostas padrão serão enviadas. Portanto, é necessário ter em consideração cinco pontos:
- Quais os benefícios que você deseja obter com o agente de IA?
- Quanto custa para você como empresa e em relação aos seus clientes o erro do agente de IA?
- Quanto custa para você como empresa e em relação aos seus clientes um agente de IA que envia respostas padrão?
- Quanto custa para você como empresa e em relação aos seus clientes não tomar nenhuma decisão ou fazer a transferência para um agente humano?
- O design de conversa em sua resposta padrão
Considerações
É possível realizar uma análise completa para determinar o limite de confiança. No entanto, se estiver procurando uma forma simples de fazer isso, podemos fazer a você uma pergunta com duas opções de resposta.
| Em 100 mensagens, o que é melhor? | |
| 50 respostas possivelmente incorretas + 50 respostas corretas | 100 respostas padrão/nenhuma ação tomada |
| 40 respostas possivelmente incorretas + 60 respostas corretas | 100 respostas padrão/nenhuma ação tomada |
| 30 respostas possivelmente incorretas + 70 respostas corretas | 100 respostas padrão/nenhuma ação tomada |
| 20 respostas possivelmente incorretas + 80 respostas corretas | 100 respostas padrão/nenhuma ação tomada |
Agora, a resposta dependerá de como você criou as respostas de intenção.
As conversas foram elaboradas de forma flexível?
Elas oferecem opções, especialmente em intenções semelhantes, tal como Processo de devolução e Consulta sobre devoluções? Nesse caso, a conversa compartilha uma palavra comum sobre devolução, portanto, a probabilidade de ocorrer confusão é maior. Porém, se você conseguir colocar a conversa de volta ao rumo certo na primeira mensagem, a intenção incorreta que está sendo acionada tem um impacto negativo menor.
Qual é a qualidade do treinamento?
Há muita confusão entre as intenções? Ao analisar a Matriz de confusão, você pode tentar reduzir a confusão, o que afetará positivamente a confiança.