Add-on | AI agents - Advanced |
业绩概要面板使您可以深入了解高级人工智能专员的许多不同方面,以了解其业绩如何。在这里,您可以查看:
- 关于访问者量、对话管理和改进机会的关键指标
- 基于量、时间、语言、解决率和意向的可视化
- 关于用例性能的关键指标
本文章包含以下主题:
相关文章:
访问面板
业绩概要面板位于左侧栏的“分析”下。
访问业绩概要面板
- 在右上角,使用人工智能专员下拉字段选择您要分析的人工智能专员。
- 在左侧栏中,单击 分析。>人工智能专员分析。
- 选择 业绩概要 标签。
关于报告
业绩概要面板分为以下部分:
业绩概览
“业绩概览”部分使您可以快速了解人工智能专员的关键指标。此部分中的报告会有所不同,具体取决于您是否属于:
分析零训练或基于表达式的人工智能专员的业绩
分析 零训练 或基于 表达式的人工智能专员时,业绩概览部分将显示以下报告:
-
访问者量:显示人工智能专员处理的对话或消息数量。
- 在下拉菜单中选择 对话 时,会显示以下额外指标:
- 意向有意义的对话:涉及与常用用户查询主题关联的交互的对话。
-
对话已完全理解:所有消息都在 置信度阈值 以上才能被理解的对话。
- 在下拉菜单中选择 消息 时,会显示以下额外指标:
- 无法识别的消息:在涉及交互时人工智能专员无法理解用户查询的对话。
- 已识别消息:人工智能专员能够将用户查询匹配为适当回复的对话。
- 在下拉菜单中选择 对话 时,会显示以下额外指标:
- 完全托管对话:显示 人工智能专员已处理对话 的百分比或 自定义解决率。
-
调查领域:显示升级率、未成功的对话数量或 人工智能专员满意度 (BSAT) 评分。
- 在下拉菜单中选择 逐步升级对话 后,会显示以下额外指标:
- 升级率:从人工智能专员升级到人工专员的对话百分比。
-
升级失败:由于专员不在线或有空而尝试升级给人工专员但未成功的对话百分比。
- 在下拉菜单中选择 失败的对话 后,会显示以下额外指标:
- 失败的操作:执行 操作 失败的对话。
- 技术错误:人工智能专员或整合发生技术问题的对话。例如,当连接到外部 API 时发生意外错误时。
- 在下拉菜单中选择 BSAT 时,还会显示以下指标:
- 平均 BSAT 评分:收集的所有评价的总和除以您的用户提供反馈的对话总数。
-
响应率:客户提供评价反馈的对话占其百分比。
有关更多详情,请参阅 分析平均 BSAT 评分和响应率。
- 在下拉菜单中选择 逐步升级对话 后,会显示以下额外指标:
分析专员人工智能专员的业绩
在分析 专员人工智能专员时,业绩概览部分将显示以下报告:
-
对话总数:显示人工智能专员处理的对话的实际数量和随时间变化的百分比。
-
已了解对话:显示从知识来源提供答案的对话或与用例匹配的对话的百分比、实际数量和随时间变化的百分比。这不包括寒暄和直接升级的对话。
此指标根据以下响应类型进一步细分:
-
自动解决:显示自动解决的百分比、实际数量和随时间变化的百分比。自动解决是指由人工智能专员处理(对于消息传送工单)和已回答(对于电邮工单)对话,并经我们大语言模型 (LLM) 验证为无需人工干预的对话。自动解决数据在 2024 年 10 月 7 日及之后才可用。有关自动解决的更多信息,请参阅 关于人工智能专员的自动解决。
此指标根据以下响应类型进一步细分:
-
用例响应:
- 源自 对话 并被理解的自动解决对话百分比。
- 源自对话的自动解决对话中的实际响应数。
-
知识回复:
- 由 UltimateGPT 生成并能理解的自动解决对话百分比。
- 由UltimateGPT 生成的自动解决对话的实际数量。
-
混合响应:
- 引发混合回复并已理解的自动解决对话百分比。
- 包含混合回复的自动解决对话中的实际回复数。
-
用例响应:
-
其它对话:显示人工智能专员未自动解决的对话百分比、实际数量和随时间变化的百分比。此指标根据以下响应类型进一步细分:
-
不理解:显示未提供知识答案或用例的人工智能专员回复以及直接升级的百分比和实际数量。注意:此指标与 对话类型 的结果不同 >消息不可理解的对话是基于对话日志的筛选器,该筛选器会返回在尝试执行清理、实体检测或语言检测时触发默认回复并发生错误的对话。
- 已升级对话:升级至人工专员的所有对话中的百分比和实际对话数量,无论对话是否能被理解。
-
升级失败和错误:尝试升级失败或操作失败的其他对话的百分比和实际数量。
-
不理解:显示未提供知识答案或用例的人工智能专员回复以及直接升级的百分比和实际数量。
人工智能专员业绩分析
在人工智能专员业绩分析部分,您可以将数据可视化。在左侧,您可以查看工作量相关的指标。在右侧,您可以查看侧重于时间、语言、解决方案和意向的指标。
在此组别左侧,从下拉菜单中选择以下任一报告:
- 自行程序持续时间 - 总体趋势:显示平均处理时间(以分钟计)的每周趋势。
- 人工智能专员处理率 - 总体趋势:显示人工智能专员处理率的每周趋势,以及一段时间内人工智能专员有效管理的对话百分比。不可用于 人工智能专员。
- 人工智能专员总体满意度评分 - 总体趋势:以周变化趋势显示一段时间内的人工智能专员满意度评分,并以可视化方式说明客户满意度水平如何波动和发展。
- 按意向划分的 BSAT 评分:显示每个用例的 BSAT 评分。
- 对话:显示由人工智能专员处理的客户对话的每日趋势,以识别流量峰值。
- 对话状态:按对话状态细分显示人工智能专员的工作量。
- 升级失败的对话:显示升级未成功的对话数量。
- 偏转率 - 总体趋势:显示偏转率的每周趋势,并演示人工智能专员如何重定向来自不同语言的人工专员的对话。
- 升级率 - 总体趋势:显示升级速率的每周趋势,并突出显示人工智能专员成功升级对话给人工专员的频率。
- 已识别消息比率与未识别消息比率:显示人工智能专员理解和未识别消息的每周趋势,并深入了解其理解能力,以及随着时间推移在管理用户问询方面需要改进的领域。不可用于人工智能专员。
- 语言:按语言细分显示人工智能专员的工作量。仅供人工智能专员使用。
- 不支持的语言细分:显示您的人工智能专员不支持的客户使用的语言。
- 每小时的对话自定义解决:按小时显示用户查询的最终自定义解决状态,以识别潜在的改进领域。这仅限于对话回复。
- 对话自定义解决:显示用户查询的最终自定义解决状态,以确定需要改进的地方。这仅限于对话回复。
- 自定义解决率 - 总体趋势:显示自定义解决率的每周趋势,以展示人工智能专员为用户提供必要信息或解决问询的效率。这仅限于对话回复。
- 按日期和标签 划分的对话:按对话标签细分显示人工智能专员的工作量,以了解最常见的主题及其随时间变化的情况。
在此组别右侧,从下拉菜单中选择以下任一报告:
- 自动解决 - 总体趋势:以图表形式显示一段时间内的自动解决量。
- 各语言自行程序持续时间趋势:按语言细分,显示平均处理时间(分钟)的每周趋势。
- 各语言人工智能专员处理费率趋势:按语言细分显示人工智能专员处理率的每周趋势,并显示一段时间内完全由人工智能专员有效管理的对话百分比。不可用于 人工智能专员。
- 各语言人工智能专员总体满意度评分趋势:以趋势视图显示一段时间内的人工智能专员满意度评分,按语言细分,并以可视化方式说明客户满意度水平的波动和变化。
- 按意向查看对话状态:根据对话状态,显示 10 个最常识别的意向。
- 对话状态,按标签:根据对话状态,显示 10 个最常见的对话标签。
- 各语言的对话状态:按语言显示最终对话状态,以便分类和识别潜在的改进领域。
- 对话状态,按时间:显示一段时间内对话的状态分布,以确定趋势。
- 各语言偏转率趋势:显示偏转率的每周趋势,并演示人工智能专员如何重定向来自不同语言的人工专员的对话。不可用于人工智能专员。
- 升级率细目:显示已成功升级对话的细目。
- 各语言的升级速率趋势:显示升级速率的每周趋势,并突出显示人工智能专员成功升级对话给人工专员的频率。
- 按语言查看无法识别的消息率趋势:显示“未理解的消息”比率的每周趋势,按语言细分,其中 20% 为重要建议阈值线。不可用于人工智能专员。
- 各语言的未识别消息率细目:显示人工智能专员不理解的消息的细目,按语言细分。不可用于人工智能专员。
- 根据最终自定义解决状态:比较 10 个最常见的对话标签:根据最终的自定义解决状态,显示最常见的 10 个对话标签。
- 按语言查看自定义解决:按语言显示客户查询的最终自定义解决状态,以识别潜在的改进领域。
- 各语言的自定义解决率趋势:按语言细分显示自定义解决率的每周趋势,以展示人工智能专员为用户提供必要信息或解决问询的效率。
- 按意向自定义解决:根据最终的自定义解决状态,显示最常见的 10 个对话意向。
用例性能
注意:对于基于 表达式的人工智能专员,这一部分指的是“意向”,而不是“用例”。
在用例绩效部分,您可以以表格形式查看用例及其关键绩效指标,包括:
- 对话:在总数的对话中,有多少是此用例。单击对话图标可打开按指定用例筛选的对话日志。
- 平均 BSAT:用例的平均 BSAT 评分。
- 第一个用例:该用例是对话期间首先识别的用例的频率。
- 自定义解决率:自定义解决率。
- 人工智能专员已处理的比率:人工智能专员处理的比率。
- 升级:在使用此用例的对话期间,发生了多少次向人工专员升级。
- 升级失败:在与此用例对话期间,有多少次尝试升级给人工专员,但由于专员不在线或有空,或由于技术错误而未成功。
- 技术错误:与此用例进行对话期间发生了多少 技术错误 。如需故障排除帮助,请参阅 调查对话中的任何技术错误。
使用表格右上角的 %/# 切换按钮在百分比和原始数字之间切换。单击任意标题可按该列对表格进行排序。
筛选面板
您可以按时间范围或其他筛选条件筛选面板的报告,包括语言、对话状态、标签、意向和测试对话。
按时间范围筛选面板
- 在效果概要面板中,单击右上角的 时间范围。
- 使用以下方法之一,选择您要查看对话的日期:
- 在右侧选择一个预定义的时间范围:今天, 昨天, 最近 7 天, 最近 30 天, 本月, 上个月
- 在日历中选择特定的开始和结束日期
用其它筛选条件筛选面板
-
在效果概要面板中,单击以下任一筛选,并根据要查看的数据选择其值:
- 语言:选择一种或多种语言。
-
对话状态:选择以下一个或多个状态:
- 专员升级:对话已成功转接人工专员。
- 已处理 的人工智能专员:对话意图有意义,没有尝试升级,对话结束时人工智能专员没有误解消息。
- 自定义升级:对话有一次自定义升级尝试。
- 电邮升级:对话已成功通过电邮发送给支持团队。
- 升级失败:对话的升级尝试未成功。
- 没有状态
- 标签:选择一个或多个文章标签。请参阅 使用文章标签为高级人工智能专员添加对话内容标签。
- 意向:选择一个或多个意向。请参阅 关于高级人工智能专员中的意向。
-
高级:选择 显示测试对话 以包含通过测试小组件创建的对话。
- 单击应用。
- 根据需要重复上述步骤以应用任何其他筛选。
翻译免责声明:本文章使用自动翻译软件翻译,以便您了解基本内容。 我们已采取合理措施提供准确翻译,但不保证翻译准确性
如对翻译准确性有任何疑问,请以文章的英语版本为准。
1 条评论
امیر رفیعی
Okay
0
登录再写评论。