Zendesk QAを使用して、顧客との会話におけるAIエージェントのパフォーマンスを評価できます。この評価の結果を解析し、必要に応じてAIエージェントとカスタマーサービスのワークフローを更新することができます。
この記事では、次のトピックについて説明します。
関連記事
どのAIエージェントを評価できるかについて
Zendesk QAは、会話ボット、究極のメッセージングボット、Sunshine Conversationsで作成されたボットをAIエージェントが自動的に検出するように設計されています。
検出されたボットを確認する手順
- Zendesk QAで、左下にある「プロフィール」アイコンをクリックします。
- 「ユーザー」、「ボット」、「ワークスペース」を選択します。
-
「ボット」を選択します。以下の列を含むボットのリストが表示されます。
- ボット名:ボットの名前
- ワークスペース:ボットとの会話が行われたワークスペース
- タイプ:ワークフロー、生成、または不明
AIエージェントの会話を手動で評価する
Zendesk QAを使用して、人間のエージェントと同様に、さまざまなカテゴリにわたってボットのパフォーマンスを評価できます。評価するには、ボットを評価するカテゴリごとにスコアカードを設定する必要があります。
ボットのパフォーマンスを手動で評価する手順
- 左側のサイドバーにある「会話」アイコン()をクリックします。
-
レビューするボット会話を特定するために、(パブリックまたはプライベートの)フィルターを作成または選択します。例えば、以下のようなフィルター条件を使用できます。
- 参加者 | = | <ボットの名前>
- ボット | = | <ボットの名前>
- ボットのタイプ | = | <ワークフローまたは生成>
-
ボットの返信数 |0 | より大きい
または、スポットライトフィルターを使用してボットの会話を見つけます。
- レビューする会話を選択します。
-
「この会話をレビュー」ペインで以下を実行します。
- 「レビュー対象者」フィールドで、レビューするボットを選択します。
- 「スコアカード」フィールドで、使用するスコアカードを選択します。
- カテゴリごとに、ボットのパフォーマンスを評価します(以下のスクリーンショットの例は、バイナリの評価スケールを示しています)。
- 「自由記述」フィールドに、ボットのパフォーマンスに関するコメントを入力します(任意)。
-
「送信」をクリックします。
ヒント:レビューダッシュボードを使用して、ボットのパフォーマンス評価の結果を解析します。
AIエージェントの会話を自動的に評価する
オートスコアリングを設定している場合、以下のオートQAカテゴリについてボットを自動的に評価できます。
- メッセージ
- 共感力
- スペルと文法
- クロージング
- 提供されたソリューション
- トーン
- 読みやすさ
- 理解力
評価の結果は、会話内の「この会話をレビュー」パネル、または割り当てられたタスクの「レビュー」セクションで確認できます。自動的にスコアリングされた評価には、ホログラムのアイコンが付きます。
関連する各オートQAカテゴリで、オートスコアリングが有効になった後に作成された会話にのみ自動評価されます。
メモ:ボット会話のオートスコアリングは、現時点ではオートQAダッシュボードに反映されていません。