検証済みのAI要約◀▼
オートQAダッシュボードは、サポートチームのパフォーマンスとエージェントのスコアを継続的に追跡することで、チームのサービス品質を監視し、トレーニングの必要性を特定するのに役立ちます。自動レビュー済みの会話数、効率向上の度合い、精度スコアなどの主要なメトリックに関するインサイトを確認できます。さらに、カテゴリ別の分析結果やエラーの根本原因といった追加データも参照することで、チーム全体のサポート能力を高めることができます。
オートQAダッシュボードでは、すべてのオートQAカテゴリにおけるチームのパフォーマンスを追跡できます。エージェントごとのスコアや品質に関するパフォーマンスを経時的に確認でき、エージェント別・カテゴリ別の内訳も提供されます。このダッシュボードは、パフォーマンスの傾向を把握したり、チームのトレーニングが必要な分野を見極めたりするのに最適です。
手動で提出された評価点はエージェントの社内品質スコア（IQS）に反映されますが、自動レビューの評価点はオートQAスコア（AQS）を使用して追跡されます。
この記事では、以下のトピックについて説明します。
関連記事
オートQAダッシュボードへのアクセス
」をクリックします。
オートQAダッシュボードのメインカードについて（例付き）
以下のスクリーンショットは、オートQAダッシュボードの標準のカードに表示される品質指標を示したものです。
上記のスクリーンショットの値を例として、次の表にダッシュボードのメインカードのメトリックを示します。
| メトリック | 説明 | 例（上図のスクリーンショットを参照） |
| 自動レビューされた会話 | 人間の介入なしに自動レビューでスコア付けされたカテゴリが少なくとも1つある会話の数。カテゴリが自動的に複数回スコアリングされた場合は、最新のオートQAのみが考慮されます。
「自動レビューされた会話」はレビュー数ではなく個々の会話数をカウントするため、たとえ別のグループの異なるユーザーに対してレビューが行われた場合でも、同一の会話のカウントはグループにつき1回のみになります。
|
上記のスクリーンショットの例では、少なくとも1回の自動レビューを受けているが、手動レビューは受けていない会話が404件あります。 |
| 手動でレビューされた会話 | 自動スコアリングされた会話のうち、人間が手動でレビューした件数。会話の作成日に基づき、最低1回は手動レビューが行われたすべての会話をカウントします。カテゴリが自動的に複数回スコアリングされた場合は、最新のオートQAのみが考慮されます。
この値は会話の作成日フィルターに基づいているため、レビューダッシュボードでレポートされたレビューの日付と異なる場合があります。
|
上記のスクリーンショットでは、173件の会話が手動でレビューされています。
このカードでカウントされた会話には、少なくとも1件の手動レビューが含まれているため、自動レビューされた会話と重複している可能性があります。
|
| 効率の向上 | 手動レビューと比較した場合に、オートQAがカバーできる会話の比率は次のように計算されます。
|
上記の例では、効率の向上は次のように計算されます。
これは、手動レビュー1件あたり、自動レビューでは2.34件分の会話がレビューされており、効率が大きく向上していることを示しています。 |
| レビュー対象者別の自動レビュー数 | オートQAが各レビュー対象者に対して行ったレビューの平均数。オートQAがフィードバックの提供にどのように役立つかを示します。 | 上図のスクリーンショットの例では、計算式は次のようになります。
この数値は、ワークスペース内の全ユーザー数ではなく、自動レビューを受けたユーザー数を基に計算されています。このメトリックの計算における分子には、自動レビューと手動レビューの両方が行われた会話も含まれます。このメトリックは、各レビュー対象者に対してどれだけ自動レビューが適用されているかを評価するものです。そのため、自動レビューが行われたすべての会話が対象となります。 |
| レビュー対象者別の手動レビュー数 | 各レビュー対象者に対して行われた手動レビューの平均数。 | 上図のスクリーンショットの例では、計算式は次のようになります。
この数値は、ワークスペース内の全ユーザー数ではなく、手動レビューを受けたユーザー数です。 |
| 精度スコア |
精度スコアは、オートQAが生成した評価と人間のレビュー担当者による評価との間に、どれだけ一貫性と一致があるかを測定します。 ゲージグラフは、選択した期間とフィルターオプションの平均精度を表します。スコアが75%を超えている場合、一致のレベルが高くオートQAが有効であることを示します。 |
|
| 精度レベル別の評価数 |
精度レベル別の評価数を示す棒グラフでは、選択した期間とフィルター条件に基づいて、各精度レベルごとのオートQA評価の割合が表示されます。 精度のメトリックには0%から100%の間のスコアが生成され、0%はオートQAとレビュー担当者の間の完全な不一致を示し、100%は完全な一致を示します。
|
|
| オートQAスコアが変更された会話 | 少なくとも1つのカテゴリで、人間がオートQAスコアを変更した会話の数。 | オートQAの評価と人間による評価に複数のカテゴリで差異が見られたため、これらのカテゴリは、上図のダッシュボードに表示されている79件の「Modified AutoQA conversations（オートQAスコアが変更された会話）」に含まれています。 |
| AQS | オートQAによって評価されたすべての会話の平均オート品質スコア。 |
オートQAダッシュボードのその他のカードについて
次の表に、オートQAカードの追加のメトリックを示します。
| メトリック | 説明 |
| AQSの推移 | 選択した期間におけるオート品質スコアの差異。このメトリックはパフォーマンスの低下をすばやく特定できるため、問題に迅速に対処できます。 |
| 上位使用言語の内訳 | このメトリックは、会話言語の比率と数を示し、サポートへの取り組みをどこに注力すべきかを特定するのに役立ちます。たとえば、特定の言語での対応件数が増えていることに気付いたら、その言語をナレッジベースに追加することが効果的な場合もあります。 |
| カテゴリのインサイト | カテゴリごとのオートQAスコアの内訳。カテゴリが自動的に複数回スコアリングされた場合は、最新のオートQAのみが考慮されます。 |
| カスタムカテゴリのインサイト | カスタムオートQAカテゴリごとのオートQAスコアの内訳。カテゴリが自動的に複数回スコアリングされた場合は、最新のオートQAのみが考慮されます。 |
| カテゴリスコアの推移 | 選択した期間におけるカテゴリスコアの変化を示す折れ線グラフ。 |
| カテゴリ別のオートQAの会話 |
このメトリックは、オートQAによる評価が実施された会話の数を表します。 新しいカテゴリが追加されると、それ以降に受け取った「終了」または「解決済み」ステータスの会話が、そのカテゴリの条件に基づいて自動的に分析および評価されます。 評価の対象となるのは、エージェントとカスタマーの両方が少なくとも1回のパブリック返信を行い、その後終了した会話です。 また、カテゴリ追加後に更新された、ステータスが「終了」または「解決済み」の既存の会話も自動的に分析および評価されます。そのため、すでに評価された会話が新しいワークスペース内で再度評価される可能性があります。 |
| レビュー対象者別のカテゴリスコア | このメトリックは、レビュー対象者の情報と、指定期間内における特定の自動カテゴリ（アーカイブ済みカテゴリと削除済みカテゴリを含む）の平均スコア（自動算出）を提供します。これにより、それらの分野でパフォーマンスが低いエージェントをすばやく特定し、トレーニング対象者を判断することができます。さらに、エージェントごとにレビューすべき関連会話を確認するための参考情報も提供されます。 |
| レビュー対象者別のスペルミスおよび文法ミスの根本原因 | オートQAの「スペルと文法」カテゴリによって特定されたレビュー対象者およびオートQAが評価した根本原因に関する情報。 |
| レビュー対象者別のトーンミスの根本原因 | このメトリックは、オートQAのトーンカテゴリによって特定されたトーンミスの根本的原因に関する情報を提供します。 |
| レビュー対象者別の繰り返しスペルミスおよび文法ミス | このメトリックは、レビュー対象者ごとに、繰り返し発生しているエラーを頻度順にリストアップします。 |
| 最終データ更新時間（UTC） | ダッシュボードの最終更新日とタイムスタンプ。オートQAダッシュボードは1時間ごとに自動的に更新されます。 |
オートQAダッシュボードのデータのドリルダウン
以下のデータポイントにドリルダウンすることができます。
- 会話
- カテゴリ
- 根本的原因
会話に複数のレビューがある場合、ドリルダウンには一意の会話数を上回る行が表示されることがあります。たとえば、「自動レビューされた会話」カードには、自動でレビューされた会話の数が表示されます。ただし、ドリルダウンでは、その会話に含まれる各エージェントについて、完了したすべてのレビューを確認できます。
詳しくは「その他の関連データポイントにアクセスする」を参照してください。