オートQAダッシュボードでは、すべてのオートQAカテゴリにおけるチームのパフォーマンスを追跡できます。エージェントごとのスコアや品質に関するパフォーマンスを長期間にわたって確認でき、エージェント別・カテゴリ別の内訳も提供されます。このダッシュボードは、パフォーマンスの傾向を把握したり、チームのトレーニングが必要な分野を見極めたりするのに最適です。
手動で提出された評価点はエージェントの社内品質スコア（IQS）に反映されますが、自動レビューの評価点はオートQAスコア（AQS）を使用して追跡されます。
この記事では、以下のトピックについて説明します。
関連記事
オートQAダッシュボードへのアクセス
オートQAダッシュボードのメインカードについて（例付き）
以下のスクリーンショットは、オートQAダッシュボードの標準のカードに表示される品質指標を示したものです。
上記のスクリーンショットの値を例として、次の表にダッシュボードのメインカードのメトリックを示します。
| メトリック | 説明 | 例（上図のスクリーンショットを参照） |
| 自動レビューされた会話 | 人間の介入なしに自動レビューでスコア付けされたカテゴリが少なくとも1つある会話の数。 | 上記のスクリーンショットの例では、少なくとも1回の自動レビューは受けたものの、手動レビューは受けていない会話が404件あります。 |
| 手動でレビューされた会話 | 人間が手動でレビューした会話の数。 メモ：日付フィルターに基づくこの値は、レビューダッシュボードで報告されるレビュー日と異なる場合があります。 オートQAは、ステータスが「終了」または「解決済み」の既存の会話が更新された場合など、さまざまな状況でトリガされます。 |
上記のスクリーンショットでは、173件の会話が手動でレビューされています。 このカードでカウントされた会話には、少なくとも1件の手動レビューが含まれているため、自動レビューされた会話と重複している可能性があります。 |
| 効率の向上 | 手動レビューとの比較で、オートQAがカバーできるチケットの割合は次のように計算されます。
|
上記の例では、効率の向上は次のように計算されます。
これは、手動レビュー1件あたり、自動レビューでは2.34件分の会話がレビューされており、効率が大きく向上していることを示しています。 |
| レビュー対象者別の自動レビュー数 | オートQAが各レビュー対象者に対して行ったレビューの平均数。オートQAがフィードバックの提供にどのように役立つかを示します。 | 上図のスクリーンショットの例では、計算式は次のようになります。
この数値は、ワークスペース内の全ユーザー数ではなく、自動レビューを受けたユーザー数を基に計算されています。このメトリックの計算における分子には、自動レビューと手動レビューの両方が行われた会話も含まれます。このメトリックは、各レビュー対象者に対してどれだけ自動レビューが適用されているかを評価するものです。そのため、自動レビューが行われたすべての会話が対象となります。 |
| レビュー対象者別の手動レビュー数 | 各レビュー対象者に対して行われた手動レビューの平均数。 | 上図のスクリーンショットの例では、計算式は次のようになります。
この数値は、ワークスペース内の全ユーザー数ではなく、手動レビューを受けたユーザー数です。 |
| 精度スコア（以前は「承認率」） |
精度スコアは、オートQAが生成した評価と人間のレビュー担当者による評価との間に、どれだけ一貫性と一致があるかを測定します。 ゲージグラフは、選択した期間とフィルターオプションの平均精度を表します。スコアが75%を超えている場合、一致のレベルが高くオートQAが有効であることを示します。 |
|
| 精度レベル別の評価数（新メトリック） |
精度レベル別の評価数を示す棒グラフでは、選択した期間とフィルター条件に基づいて、各精度レベルごとのオートQA評価の割合が表示されます。 精度のメトリックには0%から100%の間のスコアが生成され、0%はオートQAとレビュー担当者の間の完全な不一致を示し、100%は完全な一致を示します。
|
|
| オートQAスコアが変更された会話 | 少なくとも1つのカテゴリで、人間がオートQAスコアを変更した会話の数。 | オートQAの評価と人間による評価に複数のカテゴリで差異が見られたため、これらのカテゴリは、上図のダッシュボードに表示されている79件の「Modified AutoQA conversations（オートQAスコアが変更された会話）」に含まれています。 |
| AQS | オートQAによって評価されたすべての会話の平均オート品質スコア。 |
オートQAダッシュボードのその他のカードについて
次の表に、オートQAカードの追加のメトリックを示します。
| メトリック | 説明 |
| AQSの推移 | 選択した期間におけるオート品質スコアの差異。このメトリックはパフォーマンスの低下をすばやく特定できるため、問題に迅速に対処できます。 |
| 上位使用言語の内訳 | このメトリックは、会話言語の比率と数を示し、サポートへの取り組みをどこに注力すべきかを特定するのに役立ちます。たとえば、特定の言語での対応件数が増えていることに気付いたら、その言語をナレッジベースに追加することが効果的な場合もあります。 |
| カテゴリのインサイト | カテゴリごとのオートQAスコアの内訳。 |
| カスタムカテゴリのインサイト | カスタムオートQAカテゴリごとのオートQAスコアの内訳。 |
| カテゴリスコアの推移 | 選択した期間におけるカテゴリスコアの変化を示す折れ線グラフ。 |
| カテゴリ別のオートQAの会話 |
このメトリックは、オートQAによる評価が実施された会話の数を表します。 新しいカテゴリが追加されると、それ以降に受け取った「終了」または「解決済み」ステータスの会話が、そのカテゴリの条件に基づいて自動的に分析および評価されます。 評価の対象となるのは、エージェントとカスタマーの両方が少なくとも1回のパブリック返信を行い、その後終了した会話です。 また、カテゴリ追加後に更新された、ステータスが「終了」または「解決済み」の既存の会話も自動的に分析および評価されます。そのため、すでに評価された会話が新しいワークスペース内で再度評価される可能性があります。 |
| レビュー対象者別のカテゴリスコア | このメトリックは、レビュー対象者の情報と、指定期間内における特定の自動カテゴリ（アーカイブ済みカテゴリと削除済みカテゴリを含む）の平均スコア（自動算出）を提供します。これにより、それらの分野でパフォーマンスが低いエージェントをすばやく特定し、トレーニング対象者を判断することができます。さらに、エージェントごとにレビューすべき関連会話を確認するための参考情報も提供されます。 |
| レビュー対象者別のスペルミスおよび文法ミスの根本原因 | オートQAの「スペルと文法」カテゴリによって特定されたレビュー対象者およびオートQAが評価した根本的原因に関する情報。 |
| レビュー対象者別のトーンミスの根本原因 | このメトリックは、オートQAのトーンカテゴリによって特定されたトーンミスの根本的原因に関する情報を提供します。 |
| レビュー対象者別の繰り返しスペルミスおよび文法ミス | このメトリックは、レビュー対象者ごとに、繰り返し発生しているエラーを頻度順にリストアップします。 |
| 最終データ更新時間（UTC） | ダッシュボードの最終更新日とタイムスタンプ。オートQAダッシュボードは1時間ごとに自動的に更新されます。 |
オートQAダッシュボードのデータのドリルダウン
以下のデータポイントにドリルダウンすることができます。
- 会話
- カテゴリ
- 根本的原因
追加のデータポイントにアクセスするには
- 「品質保証」で、サイドバーの「
ダッシュボード」をクリックし、「オートQA」を選択します。 - カテゴリ、根本的原因、会話のいずれかの値をクリックすると、関連する会話のリストにアクセスできます。または、会話グラフ内の折れ線をクリックし、ドロップダウンメニューから「会話にドリルイン」を選択します。
- 追加のデータポイントを詳しく調べるか、任意の会話のリンクをクリックして開きます。
