O painel Resumo do desempenho permite analisar a fundo muitos aspectos diferentes de um agente de IA avançado para ver o desempenho dele. Nesse local, você pode visualizar:
- Métricas importantes sobre volume de visitantes, gerenciamento de conversas e oportunidades de melhoria
- Visualizações com base em volume, tempo, idioma, resolução e intenção
- Métricas importantes sobre desempenho do caso de uso
Este artigo contém os seguintes tópicos:
Artigos relacionados:
Acesso ao painel
O painel Resumo do desempenho está disponível em Análise, na barra lateral esquerda.
Como acessar o painel Resumo do desempenho
- No canto superior direito, use o campo de lista suspensa do agente de IA para selecionar o agente de IA que você quer analisar.
- Na barra lateral esquerda, clique em Análise > Análise de agente de IA.
- Selecione a aba Resumo do desempenho.
Sobre os relatórios
O painel Resumo do desempenho é dividido nas seguintes seções:
Visão geral do desempenho
A seção Visão geral do desempenho oferece insights rápidos das principais métricas sobre o agente de IA. Há diferentes relatórios nessa seção, dependendo se você está:
Analisando o desempenho de um agente de IA sem treinamento ou baseado em expressões
Ao analisar um agente de IA sem treinamento ou baseado em expressões, a seção Visão geral do desempenho mostra os seguintes relatórios:
-
Volume de visitantes: mostra o número de conversas ou mensagens gerenciadas pelo agente de IA.
- Quando a opção Conversas é selecionada na lista suspensa, são exibidas as seguintes métricas adicionais:
- Conversas com intenção significativa: conversas que envolvem interações associadas a tópicos de consulta frequentes de usuários.
-
Conversas totalmente compreendidas: conversas em que todas as mensagens estavam acima do limite de confiança para serem entendidas.
- Quando a opção Mensagens é selecionada na lista suspensa, são exibidas as seguintes métricas adicionais:
- Mensagens não reconhecidas: conversas que envolvem interações em que o agente de IA não entendeu a consulta do usuário.
- Mensagens reconhecidas: conversas em que o agente de IA conseguiu dar uma resposta apropriada à consulta do usuário.
- Quando a opção Conversas é selecionada na lista suspensa, são exibidas as seguintes métricas adicionais:
-
Conversas totalmente gerenciadas: mostra a porcentagem de conversas gerenciadas pelo agente de IA ou a taxa de resolução personalizada.
- Quando a opção Conversas gerenciadas pelo agente de IA é selecionada na lista suspensa, são exibidas as seguintes métricas adicionais:
- Taxa de deflexão: conversas que não são transferidas para um agente humano.
-
Conversas sem status: conversas que não têm um status atribuído automaticamente.
- Quando a opção Taxa de resolução personalizada é selecionada na lista suspensa, são exibidas as seguintes métricas adicionais:
- Conversas informadas: conversas em que o agente de IA forneceu instruções ou orientações ao usuário. Consulte Uso do estado informado para saber mais.
- Conversas resolvidas: conversas em que uma resolução significativa foi fornecida ao usuário e não houve outras perguntas.
- Quando a opção Conversas gerenciadas pelo agente de IA é selecionada na lista suspensa, são exibidas as seguintes métricas adicionais:
-
Áreas a serem investigadas: mostra a taxa de transferência, o número de conversas com falha ou o score de satisfação do agente de IA (BSAT).
- Quando a opção Conversas transferidas é selecionada na lista suspensa, são exibidas as seguintes métricas adicionais:
- Taxa de transferência: a porcentagem de conversas que foram transferidas de um agente de IA para um agente humano.
-
Transferências com falha: a porcentagem de conversas em que houve a tentativa de transferência para um agente humano, mas não havia agentes online ou disponíveis.
- Quando a opção Conversas com falha é selecionada na lista suspensa, são exibidas as seguintes métricas adicionais:
- Ações com falha: conversas em que uma ação falhou.
- Erros técnicos: conversas em que ocorreu algum problema técnico com o agente de IA ou uma integração. Por exemplo, quando ocorre um erro inesperado ao conectar a uma API externa.
- Quando a opção BSAT é selecionada na lista suspensa, são exibidas as seguintes métricas adicionais:
- Score médio de BSAT: a soma de todos os índices coletados dividida pelo número total de conversas que tiveram feedback dos usuários.
-
Taxa de resposta: a porcentagem de conversas com informações sobre índice de satisfação dos clientes.
Para saber mais, consulte Análise do score médio de BSAT e da taxa de resposta.
- Quando a opção Conversas transferidas é selecionada na lista suspensa, são exibidas as seguintes métricas adicionais:
Analisando o desempenho de um agente de IA agêntica
Ao analisar um agente de IA agêntica, a seção Visão geral do desempenho mostra os seguintes relatórios:
-
Volume total de conversas: mostra o número real e a porcentagem de mudanças ao longo do tempo das conversas gerenciadas pelo agente de IA.
-
Conversas compreendidas: mostra a porcentagem, o número real e a porcentagem de mudanças ao longo do tempo das conversas que tiveram resposta de uma fonte de conhecimento ou que foram associadas a um caso de uso. Isso exclui conversas casuais e diretamente transferidas.
Essa métrica é dividida ainda pelos seguintes tipos de resposta:
- Resposta de caso de uso: a porcentagem e o número real de respostas em conversas compreendidas que iniciaram uma resposta de diálogo ou procedimento.
- Resposta do Conhecimento: a porcentagem e o número real de respostas em conversas compreendidas que foram geradas a partir de uma fonte de conhecimento.
-
Resposta híbrida: a porcentagem e o número real de respostas em conversas compreendidas que incluem uma resposta de caso de uso e uma resposta do conhecimento.
-
Resoluções automatizadas: mostra a porcentagem, o número real e a porcentagem de mudanças ao longo do tempo das resoluções automatizadas. As resoluções automatizadas são calculadas como conversas gerenciadas (para tickets de mensagens) e respondidas (para tickets de e-mail) pelo agente de IA que passaram pela verificação do nosso modelo de linguagem grande (LLM) como não exigindo intervenção humana. Os dados de resoluções automatizadas estão disponíveis apenas a partir de 7 de outubro de 2024. Para saber mais sobre as resoluções automatizadas, consulte Sobre as resoluções automatizadas para agentes de IA.
Essa métrica é dividida ainda pelos seguintes tipos de resposta:
-
Resposta de caso de uso:
- a porcentagem de conversas de resolução automatizada que se originaram de um diálogo e foram compreendidas.
- O número real de respostas em conversas de resolução automatizada que se originaram de um diálogo.
-
Resposta do Conhecimento:
- a porcentagem de conversas de resolução automatizada que foram geradas pelo UltimateGPT e foram compreendidas.
- O número real de conversas de resolução automatizada que foram geradas pelo UltimateGPT.
-
Resposta híbrida:
- a porcentagem de conversas de resolução automatizada que provocaram uma resposta híbrida e foram compreendidas.
- O número real de respostas em conversas de resolução automatizada que incluíram uma resposta híbrida.
-
Resposta de caso de uso:
-
Outras conversas: mostra a porcentagem, o número real e a porcentagem de mudanças ao longo do tempo das conversas que não foram automaticamente resolvidas pelo agente de IA. Essa métrica é dividida ainda pelos seguintes tipos de resposta:
-
Não entendido: mostra a porcentagem e o número real das respostas do agente de IA que não forneceram uma resposta do conhecimento ou um caso de uso e transferências diretas.Observação: essa métrica difere dos resultados do filtro Tipo de conversa > Conversas com mensagens não compreendidas nos registros de conversas, que retorna conversas em que uma resposta padrão foi iniciada e ocorreu um erro ao tentar executar a sanitização, a detecção de entidade ou a detecção de idioma.
- Conversas transferidas: a porcentagem e o número real de todas as conversas que foram transferidas para um agente humano, tenham sido compreendidas ou não.
-
Encaminhamentos com falha e erros: a porcentagem e o número real de outras conversas em que a tentativa de transferência falhou ou apresentou ações com falha.
-
Não entendido: mostra a porcentagem e o número real das respostas do agente de IA que não forneceram uma resposta do conhecimento ou um caso de uso e transferências diretas.
Análise de desempenho do agente de IA
Na seção de análise de desempenho do agente de IA, é possível visualizar seus dados. À esquerda, estão as métricas relacionadas ao volume. À direita, estão as métricas relacionadas ao tempo, ao idioma, à resolução e à intenção.
À esquerda dessa seção, selecione um dos seguintes relatórios na lista suspensa:
- Duração da automação — tendência geral: mostra a tendência semana a semana do tempo médio de atendimento em minutos.
- Taxa de gerenciamento pelo agente de IA — tendência geral: mostra a tendência semana a semana na taxa de gerenciamento pelo agente de IA e exibe a porcentagem de conversas gerenciadas de maneira eficaz pelo agente de IA ao longo do tempo. Não disponível para agentes de IA agêntica.
- Score geral de satisfação dos agente de IA — tendência geral: mostra o score de satisfação do agente de IA ao longo do tempo em uma tendência semana a semana e fornece uma representação visual de como os níveis de satisfação do cliente flutuam e evoluem.
- Score de BSAT por intenção: mostra o score de BSAT para cada caso de uso.
- Conversa: mostra as tendências diárias em conversas com clientes gerenciadas pelo agente de IA para identificar picos de tráfego.
- Status da conversa: mostra a carga de trabalho do agente de IA segmentada por status de conversa.
- Conversas com transferências com falha: mostra o número de conversas em que houve a tentativa de transferência, mas sem êxito.
- Taxa de deflexão — tendência geral: mostra a tendência semana a semana da taxa de deflexão e como o agente de IA redirecionou conversas de agentes humanos em vários idiomas.
- Taxa de transferência — tendência geral: mostra a tendência semana a semana na taxa de transferência e destaca a frequência com que o agente de IA transferiu com êxito as conversas para agentes humanos.
- Taxa de mensagens reconhecidas versus taxa de mensagens não reconhecidas: mostra a tendência semana a semana das mensagens que o agente de IA entendeu e não reconheceu e fornece insights sobre suas habilidades de compreensão e áreas de melhoria no gerenciamento de consultas de usuários ao longo do tempo. Não disponível para agentes de IA agêntica.
- Idiomas: mostra a carga de trabalho do agente de IA segmentada por idioma. Disponível apenas para agentes de IA agêntica.
- Detalhamento de idiomas sem suporte: mostra os idiomas que seus clientes falam e que não contam com suporte do agente de IA.
- Resoluções personalizadas de conversas por hora: mostra os estados finais da resolução personalizada das consultas dos usuários por hora para identificar possíveis áreas de melhoria. Isso se limita a respostas de diálogo.
- Resoluções personalizadas de conversas: mostra os estados finais da resolução personalizada das consultas dos usuários para identificar áreas que precisam de melhoria. Isso se limita a respostas de diálogo.
- Taxa de resolução personalizada — tendência geral: mostra a tendência semana a semana da taxa de resolução personalizada para demonstrar a eficiência do agente de IA em fornecer aos usuários as informações necessárias ou resolver consultas. Isso se limita a respostas de diálogo.
- Status da conversa por dia e rótulo: mostra a carga de trabalho do agente de IA segmentada por rótulos de conversa para entender os tópicos mais frequentes e como eles evoluem com o tempo.
À direita dessa seção, selecione um dos seguintes relatórios na lista suspensa:
- Resoluções automatizadas – Tendência geral: mostra o volume de resoluções automatizadas em um gráfico ao longo do tempo.
- Tendência de duração da automação por idioma: mostra a tendência semana a semana do tempo médio de atendimento em minutos, segmentado por idioma.
- Tendência da taxa de gerenciamento pelo agente de IA por idioma: mostra a tendência semana a semana na taxa de gerenciamento pelo agente de IA, segmentada por idioma, e exibe a porcentagem de conversas gerenciadas de maneira eficaz apenas pelo agente de IA ao longo do tempo. Não disponível para agentes de IA agêntica.
- Tendência do score geral de satisfação do agente de IA por idioma: mostra o score de satisfação do agente de IA ao longo do tempo em uma visualização de tendências, segmentada por idioma, e fornece uma representação visual de como os níveis de satisfação do cliente flutuam e evoluem.
- Status da conversa por intenção: mostra as 10 intenções reconhecidas mais frequentes com base no status da conversa.
- Status da conversa por rótulo: mostra os 10 rótulos de conversas mais frequentes com base no status da conversa.
- Status da conversa por idioma: mostra o status final da conversa por idioma para categorizar e identificar possíveis áreas de melhoria.
- Status da conversa por tempo: mostra a distribuição de conversas por status ao longo do tempo para identificar tendências.
- Tendência da taxa de deflexão por idioma: mostra a tendência semana a semana da taxa de deflexão e como o agente de IA redirecionou conversas de agentes humanos em vários idiomas. Não disponível para agentes de IA agêntica.
- Detalhamento da taxa de transferência: mostra o detalhamento das conversas transferidas com êxito.
- Tendência da taxa de transferência por idioma: mostra a tendência semana a semana na taxa de transferência e destaca a frequência com que o agente de IA transferiu com êxito as conversas para agentes humanos.
- Tendência da taxa de mensagens não reconhecidas por idioma: mostra a tendência semana a semana da taxa de "Mensagens não compreendidas", segmentada por idioma, com uma linha de limite recomendada notável de 20%. Não disponível para agentes de IA agêntica.
- Detalhamento da taxa de mensagens não reconhecidas por idioma: mostra um detalhamento das mensagens que o agente de IA não entendeu, segmentado por idioma. Não disponível para agentes de IA agêntica.
- Compare os 10 rótulos de conversa mais frequentes com base no estado final da resolução personalizada: mostra os 10 rótulos de conversa mais frequentes com base no estado final da resolução personalizada.
- Resolução personalizada por idioma: mostra os estados da resolução personalizada das consultas de seus clientes por idioma para identificar possíveis áreas de melhoria.
- Tendência da taxa de resolução personalizada por idioma: mostra a tendência semana a semana da taxa de resolução personalizada, segmentada por idioma, para demonstrar a eficiência do agente de IA em fornecer aos usuários as informações necessárias ou resolver consultas.
- Resolução personalizada por intenção: mostra as 10 intenções de conversa mais frequentes com base no status final da resolução personalizada.
Desempenho do caso de uso
Observação: para agentes de IA com base em expressões, essa seção faz referência a “intenções”, em vez de “casos de uso”.
Na seção Desempenho do caso de uso, você pode visualizar uma tabela dos casos de uso e das principais métricas de desempenho deles, incluindo:
- Conversa: do número total de conversas, quantas tiveram esse caso de uso? Clique no ícone de conversas para abrir os registros de conversa filtrados com o caso de uso especificado.
- BSAT médio: o score médio de BSAT para o caso de uso.
- Primeiro caso de uso: a frequência com que o caso de uso foi o primeiro caso de uso identificado durante uma conversa.
- Taxa de resolução personalizada: a taxa de resolução personalizada.
- Taxa de gerenciamento pelo agente de IA: a taxa de gerenciamento pelo agente de IA.
- Transferências: a quantidade de transferências feitas para um agente humano durante conversas com o caso de uso em questão.
- Transferências com falha: a quantidade de tentativas de transferência para um agente humano que foram feitas durante conversas com o caso de uso, mas que não foram concluídas com êxito porque não havia agentes online ou disponíveis ou por causa de um erro técnico.
- Erros técnicos: a quantidade de erros técnicos ocorridos durante conversas com o caso de uso. Para obter ajuda na solução de problemas, consulte Investigação de erros técnicos no diálogo.
alterne entre % e # no canto superior direito da tabela para alternar entre porcentagens e números brutos. Clique em qualquer um dos cabeçalhos para classificar a tabela pela coluna selecionada.
Filtros do painel
Você pode filtrar os relatórios do painel por período de tempo ou usando outros filtros, como idioma, status da conversa, rótulo, intenção e conversas de teste.
Como filtrar o painel por período de tempo
- No painel Resumo do desempenho, no canto superior direito, clique em Período de tempo.
- Usando um dos seguintes métodos, selecione as datas para as quais deseja visualizar as conversas:
- À direita, selecione um dos períodos de tempo predefinidos: Hoje, Ontem, Últimos 7 dias, Últimos 30 dias, Este mês, Último mês
- Selecione datas específicas de início e término no calendário
Como filtrar o painel usando outros filtros
-
No painel Resumo do desempenho, clique em um dos seguintes filtros e selecione os valores desejados de acordo com os dados que você quer ver:
- Idioma: selecione um ou mais idiomas.
-
Status da conversa: Selecione um ou mais dos seguintes status:
- Transferência do agente: a conversa foi transferida com êxito para um agente humano.
- Atendido pelo agente de IA: a conversa tinha uma intenção significativa, não houve tentativa de transferência e terminou sem que o agente de IA entendesse errado uma mensagem.
- Transferência personalizada: a conversa teve uma tentativa de transferência personalizada.
- Transferência de e-mail: a conversa foi enviada por e-mail com êxito para a equipe de suporte.
- Falha na transferência: a conversa teve uma tentativa de transferência com falha.
- Sem status
- Rótulo: selecione um ou mais rótulos. Consulte Uso de rótulos para marcar o conteúdo da conversa para agentes de IA avançados.
- Intenção: selecione uma ou mais intenções. Consulte Sobre intenções em agentes de IA avançados.
-
Avançado: selecione Mostrar conversas de teste para incluir conversas criadas pelo widget de teste.
- Clique em Aplicar.
- Repita as etapas anteriores para aplicar outros filtros como quiser.