要約：◀▼
オートQAを使用すると、事前に定義されたカテゴリに基づいて会話を評価し、AIによる評価と人間によるレビューを比較して、品質チェックでさらに注意が必要な箇所を特定できます。また、手動レビューを提出して精度の追跡に役立てたり、各カテゴリの評価がチームによる評価とどの程度一致しているかを確認したり、精度スコアをエージェントのパフォーマンスや品質管理を評価する際の信頼度の目安として活用したりできます。
自動スコアリングは、すべてのチケットにおけるカスタマーとのインタラクションを自動的にプリセットのカテゴリに分けて評価してスコア付けするため、手作業によるレビューの負担が軽減されます。これにより、一貫性のある高品質な評価が保証され、個人的な主観を排除することで、レビュー担当者の時間を節約し、注力すべきカテゴリに集中できます。
精度スコアは、同じ会話に対してオートQAが生成した評価と人間のレビュー担当者による評価との間に、どれだけ一貫性と一致があるかを測定します。
オートQAの精度について
自動スコアリングはエージェントによって異なります。自動スコアを変更することはできませんが、レビュー担当者として、自動スコアに同意できない場合は、会話に対して別の評価を提出することができます。
オートQAはユーザーのフィードバックから直接学習するわけではありませんが、オートQAダッシュボードの精度スコアを確認することで、システムのパフォーマンスを確認できます。
精度スコアは、同じ会話に対してオートQAが生成した評価と人間のレビュー担当者による評価との間に、どれだけ一貫性と一致があるかを測定します。
評価は、使用する評価スケールによって異なります。以下はその例です。
-
バイナリスケール：
- 正しいと評価した場合、精度は100%です。
- 正しくないと評価した場合、精度は0%です。
-
5段階評価：
- 5点満点中5点の場合、精度は100%です。
- 5点満点中4点の場合、精度は75%です。
- 5点満点中3点の場合、精度は50%です。
- 5点満点中2点の場合、精度は25%です。
- 5点満点中1点の場合、精度は0%です。
オートQAの精度を確認することで、次のことができます。
- どのオートQAカテゴリが人間によるレビューと最もよく一致しているか、またオートQAの評価がどの程度信頼できるかを把握できます。
たとえば、理解力の精度スコアが90%の場合、オートQAと人間のレビュー担当者の両方がレビューした10件の会話のうち9件で、人間のレビュー担当者がオートQAの評価と一致したことを意味します。
- エージェントのパフォーマンスを評価する際に、AIによるスコアを信頼度の指標として使用できます。
- さらにレビューが必要な可能性のあるカテゴリを特定するために、すべての会話を手動で確認する時間を削減できます。
自動レビューによる評価はオート品質スコア（AQS）を使用して追跡され、手動で提出された評点はエージェントの社内品質スコア（IQS）に反映されます。
AQSが会話のIQSに反映されるのは、レビュー担当者がレビューを手動で送信した場合のみです。
オートQAの精度を向上させるために、AutoQAカテゴリのレビューを手動で送信する
オートQAの精度を高めるには、手動でレビューを送信する前に、評価したいオートQAカテゴリがスコアカードに含まれていることを確認してください。これにより、同じカテゴリについて、あなたの評価とオートQAの評価をシステムで比較できるようになります。
オートQAの精度を向上させるために、AutoQAカテゴリのレビューを手動で送信するには
- 「品質管理」で、サイドバーの「
会話」をクリックします。 - 確認する会話を選択します。ヒント：レビューにオートQAカテゴリを使用して会話をカスタムフィルターを使用して検索することができます。
- 「レビュー」をクリックします。
- スコアカードを選択します。
- すでに入力されているオートQAカテゴリの評価を参考にして、新しい評価を選択します。
- 「送信」をクリックします。