O que é a matriz de confusão?
A matriz de confusão é uma visualização do desempenho de um modelo de IA, por medida de seu reconhecimento de intenção. Em outras palavras, ela mostra se seu modelo de IA é capaz de diferenciar expressões semelhantes sob diferentes intenções ou se fica "confuso".
A matriz de confusão oferece acesso às mesmas ferramentas que os cientistas de IA de primeira linha estão usando, permitindo que você monitore facilmente o desempenho de seus agentes de IA.
Toda terça-feira à noite, uma nova matriz de confusão é gerada automaticamente, então você nunca verá uma gerada há mais de uma semana se não for atualizada manualmente. Geralmente, isso é normal e não é motivo de preocupação.
Se seu agente de IA passou recentemente por um treinamento extensivo ou teve alterações importantes (alterações em expressões ou intenções), recomendamos que você faça um novo treinamento o quanto antes.
Para treinar novamente uma matriz de confusão, navegue até a Central de treinamento > Matriz de confusão e clique em Treinar novamente no canto superior direito.
Quando devo usá-la?
Você deve usá-la quando perceber que a taxa de respostas do agente de IA na análise está diminuindo (recomendamos uma linha de base de 80%) ou quando você perceber que seu agente de IA está categorizando regularmente mensagens com a intenção errada.
Como ler a matriz de confusão
As duas dimensões, os eixos X e Y, representam as intenções reais e previstas, respectivamente.
No exemplo acima, a coluna 1 e a linha 1 são a intenção Afirmativa real e prevista, a linha 2 e a coluna 2 são a intenção Negativa e assim por diante.
Quanto mais escura for uma célula, mais a intenção prevista se sobrepõe à real.
Um bom modelo, como o exemplo acima, deve ter uma linha escura na diagonal da tabela.
No entanto, você deve prestar atenção às células coloridas fora da diagonal, pois elas representam a frequência com que as mensagens em uma intenção são previstas para outra. Sempre que você vir células com cores mais escuras fora da diagonal, isso indica um problema na precisão do modelo de IA causado por possíveis sobreposições de expressões entre duas intenções. Eles podem ser resolvidos de maneira sistemática na visualização Lista de problemas, onde todos os problemas sobrepostos são listados automaticamente de acordo com a prioridade.
Artigos relacionados:
Uso da matriz de confusão para melhorar o desempenho de um agente de IA avançada