Zendesk QAを使用したAIエージェントのパフォーマンス評価

検証済みのAI要約◀▼

Zendesk QAの機能を使用して、AIエージェントのカスタマーとのやりとりのパフォーマンスを評価します。評価するボットを設定し、スコアカードを使用して手動または自動で会話をレビューします。レビューダッシュボードで結果を分析し、BotQAダッシュボードでエスカレーションなどの主要メトリックについて監視します。これにより、AIワークフローを洗練させ、カスタマーサポートの品質を向上させることができます。

現在のプランを確認

アドオン | 品質保証（QA）またはワークフォースエンゲージメントマネジメント（WEM）

Zendesk QAを使用すると、AIエージェントがカスタマーとの会話のやりとりにおいて、どれだけ効果的に機能しているかを評価できます。この情報を使用して、評価結果に基づいてAIエージェントとワークフローを改善できます。

この記事では、以下のトピックについて説明します。

評価対象となるAIエージェントを設定する
AIエージェントの会話を評価する

評価対象となるAIエージェントを設定する

Zendesk QAは、以下のタイプのAIエージェントを自動的に検出します。

また、他のユーザーをAIエージェントとして手動で報告し、適切なリソースを使用してレビューできるようにすることもできます。詳しくは「Zendesk QAでの手動によるAIエージェントの特定」を参照してください。

デフォルトで、ボットはレビューに含まれます。「ボット」ページで、各ボットについてレビューに含めるかどうかを設定できます。

ボットがレビュー可能かどうかを設定するには

「品質保証」で、右上のプロフィールアイコンをクリックし、「ユーザー、ボット、ワークスペース」を選択します。
「ボット」を選択します。
表示されるボットのリストには、以下の列が含まれます。
- ボット名：ボットの名前。
- 前回のチャット：最後にボットとの会話が行われた日時。
- レビュー可能：レビューにボットが含まれている場合。
レビューするボットをリストで見つけ、「レビュー可能」列の値を選択します。
- 〇：ボットはレビュー対象として設定されています。オートスコアリングが有効になっていれば、自動的にスコアリングが行われます。
- ×：ボットはレビュー対象外となり、オートスコアリングや割り当ては行われません。レビュー対象外のボットはフィルターにも表示されません。さらに、ダッシュボードに新しいデータは表示されません。このオプションは、ボットを評価するためのコンテキストが不十分な場合に有用です。

AIエージェントの会話を評価する

Zendesk QAを使用すると、人間のエージェントの評価と同じように、さまざまなカテゴリでボットのパフォーマンスを評価できます。

そのためには、ボットの評価に使うカテゴリにスコアカードを設定する必要があります。

オートスコアリングが有効になっている場合、ボットは自動的にレビューされます。ただし、ボットを手動でレビューすることも可能です。

ボットのパフォーマンスを手動で確認するには

「品質保証」で、サイドバーの「会話」をクリックします。
既存のフィルターを選択するか、新しいフィルターを作成して、評価するボットの会話を見つけます。使えるフィルター条件として、次のようなものがあります。
- 関係者 | = | <ボット名>
- ボット | = | <ボット名>
- ボットのタイプ | = | <ワークフローまたは生成>
- ボットの返信数| 次の値より大きい | 0
または、スポットライトフィルターを使ってボットの会話を見つけます。
確認する会話を選択します。
「この会話を確認する」パネルの「レビュー対象者」フィールドで確認したいボットを選択し、「スコアカード」を選択します。
各カテゴリについて、ボットのパフォーマンスを評価します。詳しくは「会話の評価」を参照してください。
（オプション）フリーテキストフィールドに、ボットのパフォーマンスに関するコメントを入力します。
「送信」をクリックします。

ヒント：ボットのパフォーマンス評価の結果を分析するには、レビューダッシュボードを使用します。ボットQAダッシュボードを使用して、AIエージェントのパフォーマンスに関するその他の重要なメトリック（ボットの会話が人間のエージェントにエスカレーションされた数など）を把握します。