AIエージェント - Advancedには、組織内の高度なAIエージェントの全体的なパフォーマンスを一目で包括的に把握できるレポーティングダッシュボードが用意されています。
この記事では、以下のトピックについて説明します。
ダッシュボードにアクセスする
ダッシュボードへは、左サイドバーの「レポーティング」からアクセスできます。
ダッシュボードにアクセスするには
-
AIエージェント - Advancedで、サイドバーの「レポーティング」をクリックします。
レポートについて
レポーティングダッシュボードには、以下のタブがあります。
「概要」タブ
「概要」タブには、ボリューム、総合的なAIエージェントのパフォーマンス、BSATスコアに関する主要なメトリックが表示されます。ボリュームとパフォーマンスのメトリックについては、結果の経時的な変化がグラフで可視化されており、レポートの表示を切り替えて、AIエージェント別、チャネル別、言語別に結果をグループ化することもできます。
このタブでのレポートのフィルタリングには、「AIエージェント」、「チャネル」、「返信のタイプ」、「ユースケース」、「言語」、「ラベル」などのフィルターが用意されています。
パフォーマンス
「パフォーマンス」セクションの左側には以下のメトリックが表示されます。
- 会話の総数：AIエージェントが対応した会話の件数。
-
理解された会話：ナレッジソースまたはユースケースに一致した会話から回答が得られた会話の割合と件数。メモ：自律型AIエージェントの場合、このメトリックでは、雑談とエスカレーションのシステム返信経由でエスカレートされた会話が除外されます。エスカレーションのシステム返信が除外されると、手動で作成されたエスカレーション用のユースケースがトリガされなくなるため、このメトリックの値は他のAIエージェントより低くなることがあります。
-
エスカレーションされた会話：AIエージェントから人間のエージェントへエスカレーションされた会話の割合と件数。メモ：エスカレーション率と自動解決率が相反するとは限りません。1からエスカレーション率を引いた値が回避率となり、そこから会話の一部が自動解決の可能性として評価されます。
-
アシストがあった会話：AIエージェントが関与したが、必ずしもリクエストを解決しなかった会話。以下の情報が含まれています。
- エスカレーションされなかったメッセージングの会話。
- ユースケースが認識されてアクションが実行されたが、返信が送信されなかったメール。
-
処理済みの会話：AIエージェントが完全に処理した会話。以下の情報が含まれています。
- ユースケースが認識され、エスカレーションが試行されなかったメッセージングの会話。
- 返信が送信されたメール。
-
自動解決：自動解決の割合と件数。計算方法の詳細については、「高度なAIエージェントにおける自動解決」を参照してください。メモ：「LLMをアクティブにする」の設定を有効にしていない場合、このメトリックは表示されません。
「AIエージェントの作業負荷」セクションの右側に、以下のBSAT（ボット満足度）のメトリックが表示されます。
- 評価のリクエスト：カスタマーに満足度スコアの回答を依頼した会話の割合と件数。
- 付けられた評価：BSATの評価をカスタマーが返した会話の割合と件数（フィードバックを要求した会話の件数で割った値）。
- BSATスコア：4～5の評価を返した回答の合計を回答の総数で割った値。
- 色のついたバーは、5〜1の各フィードバック評価が全体に占める割合を示しています。緑・黄色・赤のグラデーションで視覚的に表現されています。
- バーの下に、回答総数に対する各評価の割合と回答数の内訳が表示されます。
「問い合わせの理由」タブ
このタブには、AIエージェントおよびチャネル全体におけるユースケースとナレッジソースのパフォーマンスに関する主要メトリックが表示されます。
このタブからユースケースの提案レポートにジャンプして、現在カバーされていない新しいユースケースをすばやく作成することもできます。
このタブには以下のレポートが含まれます。
ユースケースのパフォーマンス
「ユースケースのパフォーマンス」レポートには、既存の全ユースケースと、AIエージェントおよびチャネルごとのパフォーマンスが表形式で表示されます。このレポートのフィルタリングには、「AIエージェント」、「チャネル」、「返信のタイプ」、「ユースケース」、「言語」、「ラベル」などのフィルターが用意されています。
このテーブルには、次の列が含まれています。
- ユースケース：対話またはプロシージャの名前。
- AIエージェント：対話またはプロシージャが作成されたAIエージェント。
- チャネル：AIエージェントが設定されているチャネル。「メッセージング」と「メール」のいずれかの値をとります。
- 返信の方法：返信がトリガされた方法。「対話」または「プロシージャ」のいずれかの値をとります。
- 会話の総数：ユースケースが検出された会話の件数。
- 自動解決：ユースケースが検出されたすべての会話の自動解決の件数。
- カスタム解決：（2025年9月8日以前に少なくとも1つのメッセージングチャネルにAIエージェントを導入したお客様のみご利用いただけます。）カスタム解決が適用された会話の割合。詳細については、「「カスタム解決」タブ」を参照してください。
- エスカレーションされた会話：ユースケースが検出されたすべての会話のエスカレーション率。
-
BSAT：ユースケースが検出されたすべての会話のBSATスコア。
この表でユースケースをクリックすると、パフォーマンスの推移を示す詳細レポートが表示されます。この情報により、特定のユースケースが組織全体の自動化の成功にどのように貢献しているかを把握できます。
ユースケースレポートは、会話ソース、セグメント、言語、ラベルでフィルタリングできます。
ユースケースレポートには以下の情報が含まれます。
- ユースケースの自動化の経過：過去1週間に、このユースケースをトリガした会話の総数を示す縦棒グラフ。重ねて表示される折れ線グラフは、自動解決またはエスカレーションとなった会話数を示します。
- 会話の総数：このユースケースをトリガした会話。
- エスカレーションされた会話：このユースケースで人間のエージェントにエスカレーションされた会話。
- 自動解決（AR）：このユースケースで自動解決した会話。
- BSAT：このユースケースでBSAT評価が4または5の会話。
-
会話：レポートに設定されたフィルターの条件に一致する会話のリスト。以下の列を表示します。
- 会話時間：会話の開始日時。
- 対応済み：会話がAIエージェントによって完全に処理されたかどうかを示す。ユースケースが認識されたが、エスカレーションの試行がなかったメッセージング会話、およびAIエージェントによる返信が送信されたメールが含まれます。
-
解決：以下のいずれかの解決ステータス。
- 自動解決：LLMにより評価され、自動解決と判断された会話。
- 未解決：LLMにより評価されたが自動解決と判断されなかった会話、または対応されなかった会話。
- エスカレーション済み会話：人間のエージェントにエスカレーションされた会話。LLMによって評価されていません。
- 論拠データ：会話が自動解決と見なされた理由を説明するLLM評価の結果。論拠データは「対応済み」と見なされた会話にのみ表示されます。
- BSAT：会話のBSAT評価。
会話リストの行数は最大で500行です。適用されたフィルターと並べ替え条件に基づき、関連性の高い最初の500件の会話のみがリストに表示されます。それ以外の会話は、会話ログで確認できます。
ナレッジソース
「ナレッジソース」レポートには、インポートされたナレッジソースとそれぞれのパフォーマンスが表形式で表示されます。このレポートのフィルタリングには、「AIエージェント」、「チャネル」、「言語」、「ラベル」などのフィルターが用意されています。
このテーブルには、次の列が含まれています。
- 記事名：記事のタイトル。レポートに含まれるすべての記事のソースにリストされます。
- ナレッジベースのタイプ：記事のナレッジソース。「Webクローラー」、「Zendesk」、「CSV」のいずれかの値をとります。
- ナレッジベースの名前：インポート時にナレッジベースに付けられた名前。
- 使用状況：返答生成に記事が使用された会話の割合（AI生成の返信が提供された会話の総数に対する割合）。
- エスカレーションされた会話：記事が返答生成に使用され、その後エスカレーションされた会話の割合。
- 自動解決：記事が返答生成に使用され、自動解決としてカウントされた会話の割合。
-
BSAT：記事が返答生成に使用されたすべての会話の平均BSATスコア。
「カスタム解決」タブ
「カスタム解決」タブには、カスタム解決の各ステータスのKPIが表示されます。これらのKPIについては、結果の推移がグラフで可視化されており、レポートの表示を切り替えて結果を総量、チャネル、AIエージェント、言語ごとにグループ化することもできます。
このタブでのレポートのフィルタリングには、「AIエージェント」、「チャネル」、「返信のタイプ」、「ユースケース」、「言語」、「ラベル」などのフィルターが用意されています。
カスタム解決ステータスのKPI
「カスタム解決」タブには、以下のカスタム解決ステータスのメトリックが表示されます。
- 会話の総数：AIエージェントとの会話の件数。
- カスタム解決率：カスタム解決ステータスで終了したAIエージェントの会話の割合と実際の件数。
- 情報提供済み：AIエージェントがカスタマーにガイダンスを提供した、AIエージェントの会話の割合と実際の件数。詳細については、「情報提供済みステータスを使用する」を参照してください。
- 解決済み：有意な解決で終了し、カスタマーから追加の質問がなかったAIエージェントの会話の割合と実際の件数。
- メールでエスカレーション済み：メールチケットに変換されたAIエージェントの会話の割合と実際の件数。このステータスは、会話フローが「メールを送る」オプションが設定されたダイアログ内の「エスカレーション」ブロックに到達すると自動的に設定されます。
- エージェントにエスカレーション済み：人間のエージェントにエスカレーションされたAIエージェントの会話の割合と実際の件数。このステータスは、会話フローが「エージェントに転送」または「カスタムエスカレーション」のオプションが設定されたダイアログ内の「エスカレーション」ブロックに到達すると自動的に設定されます。
- 未定義：多くの場合、会話からの離脱やユースケースにカスタム解決ステータスが設定されていないことが原因でカスタム解決以外のステータスで終了した、AIエージェントの会話の割合と実際の件数。
-
未解決：問題に対して回答がなかった、または問題が解決されなかったAIエージェントの会話の割合と実際の件数。
レポートをフィルタリングする
ダッシュボードのレポートは、時間枠やその他の属性でフィルタリングできます。
ダッシュボードを時間枠でフィルタリングするには
- レポーティングダッシュボードの右上隅にある「有効期間」をクリックします。
- 次のいずれかの方法で、会話を表示する日付範囲を選択します。
- 右側にある今日、昨日、過去7日間、過去30日間、今月、先月のいずれかのプリセット期間を選択する。
- カレンダーで特定の日付範囲の開始日と終了日を指定する。
ダッシュボードをその他の属性でフィルタリングするには
-
レポーティングダッシュボードで、以下のフィルターのいずれかをクリックし、表示したいデータに応じて必要な値を選択します。
- AIエージェント：会話に参加したAIエージェント。
- チャネル：会話が行われたチャネル。「メッセージング」または「メール」のいずれかの値をとります。
-
返信のタイプ：AIエージェントが提供できる返信のタイプ。「ユースケース」、「ナレッジベース」、「ハイブリッド」、「その他」のいずれかの値をとります。（「ナレッジソース」レポートでは利用不可）。メモ：「その他の値」には、返信でユースケースもナレッジソースも使用されなかったもの（例：世間話への回答、カスタム指示／手順）が含まれます。
- ユースケース：会話中に検出されたユースケースまたは目的。（「ナレッジソース」レポートでは利用不可。）
- 言語：会話中に検出された言語。
- ラベル：会話に適用されたラベル。
- 「適用」をクリックします。
- 上記のステップを繰り返し、必要に応じて追加のフィルターを適用します。
レポートのビューを変更する
「AIエージェントの作業負荷」レポートおよび「カスタム解決」レポートでは、タイプの異なるビューを適用して結果の表示方法を変更できます。ビューのタイプを変えることで、データ全体を異なる側面から見ることができます。
レポートのビューを変更するには
-
レポーティングダッシュボードで、以下のいずれかのタブを選択します。
- 「AIエージェントの作業負荷」レポートの場合：概要
- 「カスタム解決」レポートの場合：カスタム解決
- いずれかのメトリックを選択します。
- 左側の表示エリアの上にあるドロップダウンをクリックし、次のいずれかのレポートビューを選択します。
- チャネル別
- AIエージェント別
-
言語別
- （オプション）右側の表示エリアの上にある「毎日」、「毎週」、「毎月」、または「四半期」をクリックして、レポート結果の集計方法を変更します。
レポートのデータをエクスポートする
ダッシュボードからレポートデータをCSVファイルにエクスポートできます。これにより、結果をさらに加工したり、お使いのビジネスインテリジェンスツールにアップロードしたりできます。
レポートデータをエクスポートするには
- レポートダッシュボードで、エクスポートするレポートが含まれるタブを選択します。
- （オプション）タブにフィルターを適用します。
- 「CSVをエクスポート」をクリックします。
「CSVをエクスポート」パネルが開きます。
- 「レポート」で、エクスポートするレポートを選択します。
選択したタブによって、利用可能なレポートは異なります。
- 「概要」タブ
- 会話の総数
- 理解された会話
- エスカレーション済み会話
- アシストがあった会話
- 対応済みの会話
- 自動解決
- 評価済みの会話
- BSATスコア
- BSATスコアの内訳
- 会話の総数 vs 自動化
- すべての会話データ
- 「問い合わせの理由」タブ
- 現在のフィルターを適用したユースケースパフォーマンス
- フィルタリングなしのユースケースパフォーマンス
- 現在のフィルターを適用したナレッジソース
- フィルタリングなしのナレッジソースデータ
- 「カスタム解決」タブ
- カスタム解決の概要（グラフのデータを含む）
- カスタム解決（KPIカードからのデータのみを含む）
- 「概要」タブ
- 選択したレポートで分類基準を利用できる場合は、AIエージェント別、言語別、チャネル別のいずれかのオプションを選択します。
- 選択したレポートで頻度を利用できる場合は、毎日、毎週、毎月、四半期のいずれかのオプションを選択します。メモ：このオプションは、レポートのエクスポート時にデータを集計する時間枠を決定します。選択したデータの定期的なエクスポートは作成されません。
- 「保存」をクリックします。
レポートはzipファイルでダウンロードされます。