À medida que outras intenções e expressões são adicionadas e o modelo de IA se torna mais avançado, é essencial monitorar o desempenho do modelo de IA e identificar onde é possível fazer melhorias.
Oferecemos várias ferramentas que você pode usar para fortalecer o modelo de IA.
Treinamento otimizado
Aqui está um passo a passo para otimizar seu treinamento usando nossas ferramentas baseadas em IA. Esse é um processo iterativo que pode ser feito antes e depois do lançamento.
Etapa 1: gerar um novo modelo avaliado
- Acesse IA > Modelos > + Novo modelo > marque "Executar validação cruzada" > Treinar agente de IA.
- Isso pode demorar várias horas. O status mudará de Na fila > Iniciado > Concluído, para que você saiba quando tiver terminado.
- Dica: execute na noite anterior se quiser treinar na manhã seguinte.
Etapa 2: consultar a matriz de confusão
Acesse a Central de treinamento > Matriz de confusão. Use a "Matriz de confusão" e a "Lista de problemas" para avaliar quais intenções estão "confusas" ou se sobrepõem a outras intenções.
Para as intenções Média e Alta, acesse Gerenciar expressões para se aprofundar em quais expressões estão causando confusão. Elas serão destacadas em amarelo.
Pergunte-se:
- As duas intenções estão bem definidas? O escopo de cada intenção está claro? Dica: use a Descrição da intenção para destacar claramente o escopo de uma intenção.
- O tópico dessa intenção ou sua expressão se sobrepõe a outra intenção? Se houver sobreposição, faz sentido mesclar as intenções?
- A intenção tem expressões suficientes para ter independência? Observação: quanto mais expressões uma intenção tiver, mais peso ela terá no modelo. Portanto, se uma intenção não estiver sendo reconhecida quando deveria, pode ser devido à falta de dados de treinamento suficientes.
Etapa 3: treinar a partir do relatório de impacto
- Como gerar um novo relatório de impacto:
- Acesse IA > Relatório de impacto > + Novo relatório.
- Selecione “De mensagens existentes” se desejar usar dados já importados, ou “Do CRM” se desejar importar dados adicionais.
- Especifique um período de tempo: dependendo do período de tempo selecionado e do volume de mensagens, isso pode levar de 10 minutos a uma hora.
- Defina "Modelo de benchmark" como "Modelo atual" > Criar.
- Use o novo relatório de impacto para treinar. Use os filtros para direcionar seu treinamento.
Após a Etapa 3, você pode executar novamente um modelo avaliado e verificar se a matriz de confusão melhorou.