パフォーマンスサマリーダッシュボードでの高度なAIエージェントのパフォーマンスの分析

現在のプランを確認

アドオン	AIエージェント - Advanced

パフォーマンスサマリーダッシュボードでは、高度なAIエージェントをさまざまな角度から詳細に分析し、そのパフォーマンスを確認できます。このダッシュボードで以下の情報を確認できます。

• 訪問者数、会話の管理、改善点に関する主要なメトリック
• ボリューム、時間、言語、回答の提案数、目的に基づく可視化
• ユースケースのパフォーマンスに関する主要なメトリック

この記事では、以下のトピックについて説明します。

• ダッシュボードにアクセスする
• レポートについて
• ダッシュボードのフィルタリング

関連記事

• パフォーマンスの概要ダッシュボードでの高度なAIエージェントのパフォーマンスの分析
• 会話ジャーニーダッシュボードでの高度なAIエージェントの会話フローの分析
• 高度なAIエージェントのUltimateGPTのパフォーマンスの分析

ダッシュボードにアクセスする

パフォーマンスサマリーダッシュボードへは、左サイドバーの「分析」からアクセスできます。

パフォーマンスサマリーダッシュボードへアクセスするには

1. 画面右上の「AIエージェント」ドロップダウンフィールドで、分析するAIエージェントを選択します。
2. 左側のサイドバーで、「分析」>「AIエージェントの分析」をクリックします。
3. 「パフォーマンスサマリー」タブを選択します。

レポートについて

パフォーマンスサマリーダッシュボードは、以下のセクションで構成されています。

• パフォーマンスの概要
• AIエージェントのパフォーマンス分析
• ユースケースのパフォーマンス

パフォーマンスの概要

「パフォーマンスの概要」セクションでは、AIエージェントに関する主要メトリックをすばやく確認できます。このセクションのレポートの内容は、パフォーマンスを分析するAIエージェントのタイプによって異なります。

• トレーニング不要または表現ベースのAIエージェントのパフォーマンスを分析する場合
• 自律型AIエージェントのパフォーマンスを分析する場合

トレーニング不要または表現ベースのAIエージェントのパフォーマンスを分析する場合

トレーニング不要または表現ベースのAIエージェントを分析する場合、「パフォーマンスの概要」セクションには以下のレポート項目が表示されます。

• 訪問者数：AIエージェントが処理した会話またはメッセージの数を表示します。
  • ドロップダウンで「会話」を選択すると、さらに以下のメトリックが表示されます。
    • 有意な目的を含む会話：エンドユーザーからの問い合わせで頻繁に取り上げられるトピックに関連するインタラクションを含む会話の割合。
    • 完全に理解された会話：すべてのメッセージが理解されたという判断の信頼度のしきい値を超えた会話の割合。

      

  • ドロップダウンで「メッセージ」を選択すると、さらに以下のメトリックが表示されます。
    • 未認識のメッセージ：AIエージェントがエンドユーザーからの問い合わせ内容を理解できなかったインタラクションを含む会話の割合。
    • 認識済みメッセージ：AIエージェントがエンドユーザーからの問い合わせ内容を適切な応答と一致させることができた会話の割合。
• 完全に対処された会話：AIエージェントが処理した会話の割合、またはカスタム解決率を表示します。
  • ドロップダウンで「AIエージェントが処理済み会話」を選択すると、さらに以下のメトリックが表示されます。
    • 回避率：人間のエージェントへのエスカレーションが回避された会話の割合。
    • ステータスのない会話：会話のステータスが自動的に割り当てらなかった会話の割合。

      

  • ドロップダウンで「カスタム解決率」を選択すると、さらに以下のメトリックが表示されます。
    • 情報提供済みの会話：AIエージェントがエンドユーザーに指示やガイダンスを提供した会話の割合。詳細については、「情報提供済みステータスを使用する」を参照してください。
    • 解決済みの会話：エンドユーザーに有意な解決策を提示し、追加の質問がなかった会話の割合。
• 調査すべきエリア：エスカレーション率、失敗した会話の数、またはAIエージェント満足度（BSAT）スコアを表示します。
  • ドロップダウンで「エスカレーションされた会話」を選択すると、さらに以下のメトリックが表示されます。
    • エスカレーション率：AIエージェントから人間のエージェントにエスカレーションされた会話の割合。
    • 失敗したエスカレーション：人間のエージェントへのエスカレーションが試みられたものの、エージェントがオフラインまたは対応可能な状態でなかったために失敗した会話の割合。

      

  • ドロップダウンで「失敗した会話」を選択すると、さらに以下のメトリックが表示されます。
    • 失敗したアクション：アクションが実行できなかった会話の割合。
    • 技術的エラー：AIエージェントまたはインテグレーションで技術的な問題が発生した会話の割合。たとえば、外部APIへの接続中に予期しないエラーが発生した場合です。
  • ドロップダウンで「BSAT」を選択すると、さらに以下メトリックが表示されます。
    • 平均BSATスコア：収集したすべての評価の合計を、エンドユーザーからのフィードバックがあった会話の総数で割った値。
    • 応答率：エンドユーザーが評価フィードバックを返した会話の割合。

      詳細については、「平均BSATスコアと応答率の分析」を参照してください。

自律型AIエージェントのパフォーマンスを分析する場合

自律型AIエージェントを分析する場合、「パフォーマンスの概要」セクションには以下のレポート項目が表示されます。

• 会話の総量：AIエージェントが処理した会話の件数と割合の推移を表示します。

  

• 理解された会話：ナレッジソースベースの回答またはユースケースに一致した会話からの回答が提供された会話の件数、および割合の推移を表示します。このメトリックには、雑談および直接エスカレーションされた会話は含まれません。

  このメトリックは、さらに以下の応答タイプに分類されます。

  • ユースケースの応答：理解された会話において、対話の応答またはプロシージャをトリガした応答の割合と件数。
  • ナレッジベースの応答：理解された会話において、ナレッジソースから生成された応答の割合と件数。
  • ハイブリッド応答：理解された会話のうち、ユースケースの応答とナレッジベースの応答の両方を含む応答の割合と件数。

    

• 自動解決：自動解決の割合、件数、および割合の推移を表示します。自動解決は、Zendeskの大規模言語モデル（LLM）によって「人間のエージェントによる対応は不要」と判断された会話を指します。メッセージングチケットの場合は「AIエージェントによって処理された会話」として、メールチケットの場合は「AIエージェントによって回答された会話」として計算されます。2024年10月7日以降の自動解決データのみがレポート対象です。自動解決について詳しくは、「AIエージェントの自動解決について」を参照してください。

  このメトリックは、さらに以下の応答タイプに分類されます。

  • ユースケースの応答：
    • 対話から開始されて、理解された自動解決の会話の割合。
    • 自動解決の会話において、対話から開始された応答の件数。
  • ナレッジベースの応答：
    • UltimateGPTによって生成され、理解された自動解決の会話の割合。
    • UltimateGPTによって生成された自動解決の会話の件数。
  • ハイブリッド応答：
    • ハイブリッド応答を引き出し、理解された自動解決の会話の割合。
    • 自動解決の会話での応答の件数（ハイブリッド応答を含む）。

      

• その他の会話：AIエージェントによって自動的に解決されなかった会話の割合、件数、および割合の推移を表示します。このメトリックは、さらに以下の応答タイプに分類されます。
  • 理解されなかった会話：ナレッジソースベースの回答またはユースケースを提供せず、直接エスカレーションされたAIエージェントの応答の割合と件数を表示します。
    メモ：このメトリックは、会話ログの「会話のタイプ」>「理解できないメッセージを含む会話」フィルターの結果と異なります。このフィルターは、デフォルトの返信がトリガされ、サニタイズ処理、エンティティ検出、または言語検出を試行中にエラーが発生した会話を返します。
  • エスカレーションされた会話：人間のエージェントにエスカレーションされたすべての会話の割合と件数（理解されたかどうかは不問）。
  • 失敗したエスカレーションおよびエラー：エスカレーションの試みが失敗したまたはアクションの失敗が発生した他の会話の割合と件数。

    

AIエージェントのパフォーマンス分析

「AIエージェントのパフォーマンス分析」セクションでは、データを視覚化できます。セクションの左側に、ボリューム関連のメトリックが表示されます。右側で、時間、言語、解決、目的に焦点を当てたメトリックを確認できます。

このセクションの左側で、ドロップダウンから以下のレポートのいずれかを選択します。

• 自動化の時間 - 全体の傾向：平均処理時間（分単位）の週比較の傾向を表示します。
• AIエージェント処理率 - 全体の傾向：AIエージェント処理率の週比較の傾向を表示し、AIエージェントによって効果的に対処された会話の推移を表示します。自律型AIエージェントには利用できません。
• AIエージェントの総合的な満足度スコア - 全体の傾向：AIエージェントの満足度スコアの週比較の傾向の推移を表示し、カスタマー満足度レベルの変動と進展を視覚的に表現します。
• 目的別BSATスコア：各ユースケースのBSATスコアを表示します。
• 会話：AIエージェントが処理したカスタマーの会話の日別の傾向を表示し、トラフィックのピークを特定します。
• 会話のステータス：AIエージェントの作業負荷を会話のステータス別に表示します。
• エスカレーションに失敗した会話：エスカレーションを試みたが成功しなかった会話の数を表示します。
• 回避率 - 全体的な傾向：回避率の週ごとの推移を表示し、AIエージェントがさまざまな言語の会話を人間のエージェントからどのように回避させたかを示します。
• エスカレーション率 - 全体的な傾向：エスカレーション率の週ごとの傾向を表示し、AIエージェントが会話を人間のエージェントにうまくエスカレーションできた頻度を強調して示します。
• メッセージの認識率と未認識率の比較：AIエージェントが理解したメッセージと認識できなかったメッセージの週ごとの傾向を表示し、ユーザーからの問い合わせに対する理解度や、改善が必要な点に関するインサイトを提供します。自律型AIエージェントには利用できません。
• 言語：AIエージェントの作業負荷を言語別に表示します。自律型AIエージェントのみ利用可能です。
• サポート対象外言語の内訳：カスタマーが話す言語のうち、AIエージェントが対応していない言語を表示します。
• 会話のカスタム解決 - 時間別：カスタマーの問い合わせの最終的なカスタム解決ステータスを時間別に表示し、改善の可能性があるエリアを特定します。これは対話の返信に限定されます。
• 会話のカスタム解決：カスタマーの問い合わせの最終的なカスタム解決ステータスを表示し、改善すべきエリアを特定します。これは対話の返信に限定されます。
• カスタム解決率 - 全体の傾向：カスタム解決率の週ごとの傾向を表示し、ユーザーへの情報提供や問い合わせ対応におけるAIエージェントの対応効率を示します。これは対話の返信に限定されます。
• 会話のステータス - 日別およびラベル別：AIエージェントの対応状況を会話ラベル別に表示し、頻出トピックとその変化の傾向を把握します。

このセクションの右側で、ドロップダウンから以下のレポートのいずれかを選択します。

• 自動解決 - 全体の傾向：自動解決の件数の推移をグラフで表示します。
• 自動化の時間 - 言語別の傾向：平均処理時間（分単位）の週比較の傾向を言語別に表示します。
• AIエージェント処理率 - 言語別傾向AIエージェント処理率の週比較の傾向を言語別に追跡し、AIエージェント単独で効果的に対処された会話の割合の推移を表示します。自律型AIエージェントには利用できません。
• AIエージェントの総合的な満足度スコア - 言語別の傾向言語別に分けたAIエージェントの満足度スコアの推移を傾向ビューで表示し、カスタマー満足度の変動やその推移を視覚的に示します。
• 会話のステータス - 目的別：会話のステータスに基づいて、最も頻繁に認識された上位10個の目的を表示します。
• 会話のステータス - ラベル別：会話のステータスに基づいて、最も頻度の高い10個の会話ラベルを表示します。
• 会話のステータス - 言語別：最終的な会話のステータスを言語別に表示し、改善の可能性があるエリアを分類し特定します。
• 会話のステータス - 時間別：ステータス別の会話の分布の推移を表示し、傾向を特定します。
• 回避率の傾向 - 言語別：回避率の週ごとの推移を表示し、AIエージェントがさまざまな言語の会話を人間のエージェントからどのように回避させたかを示します。自律型AIエージェントには利用できません。
• エスカレーション率の内訳：エスカレーションに成功した会話の内訳を表示します。
• エスカレーション率の傾向 - 言語別：エスカレーション率の週ごとの傾向を表示し、AIエージェントが会話を人間のエージェントにうまくエスカレーションできた頻度を強調して示します。
• メッセージの未認識率 - 言語別の傾向：「理解できないメッセージ」の割合の週ごとの傾向を言語別に表示し、推奨されるしきい値である20%のラインを強調して示します。自律型AIエージェントには利用できません。
• メッセージの未認識率 - 言語別内訳：AIエージェントが理解できなかったメッセージの内訳を言語別に表示します。自律型AIエージェントには利用できません。
• 最終的なカスタム解決ステータスに基づいて、最も頻度の高い10個の会話ラベルを比較します：最終的なカスタム解決ステータスに基づいて、最も多く使われた会話ラベルの上位10個を表示します。
• カスタム解決 - 言語別：カスタマーの問い合わせの最終的なカスタム解決ステータスを言語別に表示し、改善の可能性があるエリアを特定します。
• カスタム解決率 - 言語別傾向：カスタム解決率の週比較の傾向を言語別に表示し、ユーザーへの必要な情報の提供や問い合わせの解決におけるAIエージェントの効率を示します。
• カスタム解決 - 目的別：最終的なカスタム解決ステータスに基づき、最も頻繁に認識された会話の目的の上位10個を表示します。

ユースケースのパフォーマンス

メモ：表現ベースのAIエージェントでは、このセクションで参照する対象が「ユースケース」ではなく「目的」になります。

「ユースケースのパフォーマンス」セクションでは、ユースケースと主要なパフォーマンスのメトリックを表形式で表示します。

• 会話：総会話数のうち、そのユースケースが含まれていた会話の数。会話アイコンをクリックすると、指定したユースケースでフィルタリングされた会話ログが開きます。
• 平均BSAT：ユースケースの平均BSATスコア。
• 最初のユースケース：会話内で特定されたユースケースが、最初のユースケースであった頻度。
• カスタム解決率：カスタム解決の割合。
• AIエージェント処理率：AIエージェントによる処理の割合。
• エスカレーション：このユースケースの会話内で、人間のエージェントへのエスカレーションが発生した数。
• 失敗したエスカレーション：このユースケースの会話内で、AIエージェントがオンラインまたは対応可能でなかったため、または技術的エラーのため、人間のエージェントへのエスカレーションが試行されたものの、失敗した回数。
• 技術的エラー：このユースケースの会話内で、発生した技術的エラーの回数。トラブルシューティングの詳細については、「対話内の技術的エラーの調査」を参照してください。

表の右上にある% / # のトグルを使って、パーセンテージと実際の数とで表示を切り替えます。クリック可能なヘッダーをクリックすると、その列で表を並べ替えることができます。

ダッシュボードのフィルタリング

ダッシュボードのレポートを期間やその他のフィルター（言語、会話のステータス、ラベル、目的、テスト会話など）でフィルタリングできます。

ダッシュボードを期間でフィルタリングするには

1. パフォーマンスサマリーダッシュボードの右上にある「期間」をクリックします。
2. 次のいずれかの方法で、会話を表示する日付範囲を選択します。
   • 右側にある今日、昨日、過去7日間、過去30日間、今月、先月のいずれかのプリセット期間を選択する。
   • カレンダーで特定の日付範囲の開始日と終了日を指定する。

     

ダッシュボードを他のフィルターでフィルタリングするには

1. パフォーマンスサマリーダッシュボードで、以下のフィルターをクリックし、表示したいデータに応じて必要な値を選択します。
   • 言語：1つ以上の言語を選択します。
   • 会話のステータス：次のステータスのうち1つ以上を選択します。
     • エージェントへのエスカレーション：会話を人間のエージェントに転送しました。
     • AIエージェントが処理済み：会話に有意な目的があり、エスカレーションの試行がなく、AIエージェントがメッセージを誤解することなく会話が終了しました。
     • カスタムエスカレーション：会話にカスタムエスカレーションの試行がありました。
     • メールのエスカレーション：会話をサポートチームにメール送信しました。
     • エスカレーションに失敗しました：会話がエスカレーションに失敗しました。
     • ステータスなし
   • ラベル：1つ以上のラベルを選択します。詳しくは「ラベルを使用して高度なAIエージェントの会話コンテンツにタグ付けする方法」を参照してください。
   • 目的：1つ以上の目的を選択します。詳しくは「高度なAIエージェントでの目的について」を参照してください。
   • 高度な設定：テストウィジェットで作成された会話を含めるには、「テスト会話を表示」を選択します。

     

2. 「適用」をクリックします。
3. 上記のステップを繰り返し、必要に応じて追加のフィルターを適用します。