AIプロンプトベースの評価カテゴリの作成

アドオン

品質保証（QA）またはワークフォースエンゲージメントマネジメント（WEM）

要約：◀▼

AIプロンプトに基づく評価カテゴリを作成し、自然言語の基準を使用して、顧客との会話におけるエージェントの対応を評価できます。プロンプトをカスタマイズするか、テンプレートを使用してスコアリングルールを定義し、プロンプトのテストと検証を行い、カテゴリをスコアカードに追加できます。この機能では、1アカウントあたり最大10個の有効なAIカテゴリがサポートされており、正確な評価を行うには、自動スコアリングおよびLLMベースのスコアリング設定を有効にする必要があります。

ナビゲーションパス：Zendesk QA >「設定」>「AI」

Zendesk QAでは、スポットライトインサイトがチケットにフラグを立て、評価カテゴリがエージェントのスコアを算出します。

管理者やアカウントマネージャーは、システムカテゴリ、手動カテゴリ、テキストの完全一致のカテゴリに加え、AIプロンプトベースの評価カテゴリを作成できます。

どの評価カテゴリを使用しても、カスタマーとの会話を効果的に評価できます。AIプロンプトベースのカテゴリを使用すると、自然な言葉遣いでカスタマーとの会話に焦点を当てた質問を行い、独自の基準に基づいて自動的にスコアリングを行うことができます。

Zendesk QAのプロンプトベースのAIインサイトは最新のAIモデルを活用しており、カスタムのAI評価カテゴリを一から作成することも、すぐに使えるAIプロンプトテンプレートを選択することもできます。「AIプロンプト」カテゴリの基準は、エージェントの行動を定義します。

ヒント：AIプロンプトベースのカテゴリを正常に機能させるには、オートQAを使用した自動スコアリングおよびLLMベースのオートQAのアカウント設定を有効にする必要があります。

管理者およびアカウントマネージャーは、アクティブなAIプロンプトベースの評価カテゴリとAIプロンプトベースのスポットライトインサイトを1アカウントあたり最大10個作成できます。この上限に達した後、さらにインサイトを作成またはアクティブ化するには、既存のインサイトを非アクティブにするか、削除する必要があります。

AIプロンプトベースのカスタム評価カテゴリを作成するには

「品質管理」の画面右上にあるプロフィールアイコンをクリックします。
設定（）をクリックします。
サイドバーの「アカウント」で、「AI」をクリックします。
「AIインサイトを作成」をクリックします。
プロンプトベース」のAIインサイトタイプを選択します。
「AIインサイト名」に入力します。
（オプション）「プロンプトテンプレート」をクリックして、すぐに使えるAIプロンプトテンプレートからテンプレートを選択し、「テンプレートを使用」をクリックします。
既存のテンプレートを特定のニーズに合わせてカスタマイズするか、または新しいプロンプトをいちから作成します。
1. 「何を検出しますか？」で、このインサイトで検出する対象と達成する目標を明確に記述します。
  焦点を当てる対象がエージェントの行動であることを明確にし、客観的で測定可能な表現を使用してください。入力可能な文字数は最大2,000文字です。
  
  正確で行動につながるインサイトを得るには、AIインサイト用プロンプト作成のベストプラクティスに従ってください。
2. 各カテゴリでエージェントが「ポジティブ評価（）」を受けるために必要な行動を説明する追加のスコアリングプロンプトを入力します（最大128文字）。正確な評価を行うため、ZendeskのスコアリングプロンプトベースのAIインサイトのベストプラクティスに必ず従ってください。
3. エージェントがこのカテゴリで「ネガティブ評価（）」を受ける条件を説明する追加のスコアリングプロンプトを入力します（最大128文字）。たとえば、エージェントがデモを提案しておらず、テキストに「デモを予約しましょう」が含まれていない場合、このカテゴリではネガティブ評価となります。
メモ：AIがプロンプトに基づいて明確な回答を見つけられない場合、カテゴリは自動的に「該当なし」と評価されます。
（オプション）アカウント設定でAIによる提案のトグルがオンになっている場合は、「強化」をクリックします。このシステムは、プロンプトを分析して、曖昧さや不明瞭な表現、不適切な形式を解消します。また、以下の情報を追加することで、主旨明確にします。
1. プロンプトのメインの質問
2. 該当するもの
3. 該当しないもの
4. プロンプトの回答の説明
5. プロンプトスコアの低い例
6. プロンプトスコアの高い例
7. 明確化が必要な点
8. プロンプトの回答候補
（オプション）「強化されたプロンプトを確認してください」をクリックして、元のプロンプトからどのような変更が加えられたかを確認し、詳細な提案にアクセスします。
（オプション）「元のプロンプトを使用」をクリックして、元のプロンプトに戻ります。
（オプション）アカウント設定でAI提案のトグルがオフになっている場合は、「検証」をクリックすると、プロンプトの改善に役立つフィードバックやヒントを確認できます。
「推奨される使用タイプ」で、「スコアカードのカテゴリとして使用」を選択します。
（オプション）「プロンプトをテスト」をクリックし、プロンプトが正しく機能し、指定された基準を満たしていることを確認します。
「会話フィルター」ビューには、プロンプトベースのインサイトに基づいて検出された会話の総数が表示されます。

テスト用の会話プールを特定の条件に絞るため、デフォルトでは、過去7日間に作成され、返信が5件以上ある終了済みの会話が、最大100件フィルターに表示されます。
（オプション）「テスト用に選択」をクリックします。このプロンプトによって検出された会話は、右側のパネルに10件ずつ表示されます。
（オプション）このプロンプトを検証・テストした後、プロンプトを編集して再度テストする場合、プロンプトの履歴が表示されます。この履歴で、以前のバージョンのプロンプトと、そのバージョンに基づく評価結果を示す一致率を確認できます。自動レビューと手動レビューのスコアが一致する頻度を確認することで、プロンプトのパフォーマンスをより明確に把握できます。この履歴を活用し、最終作成に進む前に最適なプロンプトのバージョンを選択できます。
（オプション）結果をテストします。
1. （オプション）各会話の横にある「レビュー」をクリックし、作成中のプロンプトに基づいて手動でスコアを付けます。これにより結果を比較し、自動レビューと手動レビューのスコアが一致する頻度を確認できます。
2. 「自動レビュー実行」をクリックすると、「オート」セクションのリストの全会話に自動的に適用されたプロンプト条件の結果を確認できます。
  黄色でハイライトされた会話が多い場合は、意図した会話のスコアリングとAIによるスコアリングとに乖離がある可能性が高いことを示しています。プロンプトの言い換えを検討してください。
  
  プロンプトの検出対象を言い換える場合、変更が軽微なときは、再度「自動レビュー実行」をクリックできます。ただし、評価の対象をエージェントからカスタマーに変更するなどで、変更が大きくなった場合、プロンプトのタイプがカテゴリからスポットライトに変更されることがあります。このような場合には、ステップ14に戻り、「プロンプトをテストする」を再度クリックする必要があります。
「カテゴリを作成」をクリックします。
カテゴリを作成した後、そのカテゴリをスコアカードに追加して使用を開始する必要があります。