混淆矩阵每周通过意向识别来衡量人工智能模型的性能表现。它可以显示您的人工智能模型是否能够清晰识别不同意向下的类似表达,或者是否会被它们混淆。这些信息可帮助您了解人工智能专员的业绩。
在评估人工智能专员的表现时,您可能会发现一条本来应被识别为一个意向的消息被识别为另一个意向,因为两个意向的表情重叠。您可以使用混淆矩阵来了解哪里发生了重叠。然后,您可以使用该信息来调整手动训练有素的表达式,以消除不一致并提高性能。
还有一个问题列表,您可以按优先级排序,以帮助您确定要处理的内容。
本文章涵盖以下主题:
查看混淆矩阵
混淆矩阵是一个用颜色编码的网格,表示模型在理解意向方面的性能。一个好的模型应该有一条黑线对角线穿过表格。
当您发现人工智能专员的回复率下降时,应查看混淆矩阵。建议将 80% 用作基准。如果您发现人工智能专员经常根据错误意向对消息进行分类,也可以查看混淆矩阵。
查看混淆矩阵
- 在人工智能专员(高级),单击侧栏中的 培训中心 ,然后选择 混淆矩阵。
- 单击顶部的 混淆矩阵 标签。
X(水平)和 Y(垂直)轴这两个维度分别表示实际意向和预测意向。本例中,第 1 列和第 1 行是实际和预测意向肯定,第 2 行和第 2 列是意向否定,依此类推。

- 查看矩阵中的彩色单元格。
单元格颜色越深,预测意向与实际意向的重叠越多。一个好的模型应该有一条黑线对角线穿过表格。
对角线以外的有色单元格表示将一个意向中的消息预测给另一个意向的频率。对角线以外颜色较深的单元格表示人工智能模型的准确性出现了问题,原因是两个意向之间的表达式可能重叠。
接下来,您可以 查看问题列表, 其中重叠的问题根据优先级自动列出。
查看在混淆矩阵中提出的问题
您可以使用问题列表深入了解混淆矩阵中显示的问题。重叠的问题根据高、中、低优先级自动列出,以帮助您确定要关注的问题。
访问问题列表
- 在人工智能专员(高级),单击侧栏中的 培训中心 ,然后选择 混淆矩阵。
- 单击顶部 的问题列表 标签。
- 单击 优先级 标题,按优先级排序。

- 使用 高级筛选 根据需要定义混淆级别,或使用 搜索 查找您认为可能导致与其他意向混淆的特定意向。
- 单击 解决问题,然后单击 管理表达式 ,打开表达式管理视图。
- 管理突出显示的项目:
- 单击向左和向右箭头可将表达式移动到不同的意向。
- 单击 x 以删除表达式。

- 处理突出显示的项目时,可以执行以下任意操作:
- 取消训练表达式,或将其移至其他意向。
-
使用这些表达式创建新意向。
- 如果意向相同,则将其合并。
- 针对这两个令人困惑的意向训练更多表达式,帮助您的人工智能模型进行学习。仅在绝对确定这两个意向差异很大且应区分开来时才进行此操作。
- 单击 标为已解决 以跟踪您的进度。
重新训练混淆矩阵
混淆矩阵是在每周二晚上(太平洋时间)自动生成的。
如果您的人工智能专员最近已接受过大量培训,或已对其进行了重大更改(更改表达式或意向),您可以在日程计划外进行手动重新培训。
重新训练混淆矩阵
- 在人工智能专员(高级),单击侧栏中的 培训中心 ,然后选择 混淆矩阵。
- 单击右上角的 重新训练 。
翻译免责声明:本文章使用自动翻译软件翻译,以便您了解基本内容。 我们已采取合理措施提供准确翻译,但不保证翻译准确性
如对翻译准确性有任何疑问,请以文章的英语版本为准。