AIプロンプトベースの評価カテゴリの作成

アドオン

品質保証（QA）またはワークフォースエンゲージメントマネジメント（WEM）

検証済みのAI要約◀▼

AIプロンプトベースの評価カテゴリを使用すると、カスタムプロンプトを作成して、カスタマーとの会話の自動スコアリングやリスク検出を行うことができます。AIプロンプトライブラリの既成プロンプトを使用するか、特定の行動に焦点を当てた独自のプロンプトを作成できます。AutoQAの両方の設定が有効になっていることを確認し、最大10個のアクティブなカテゴリを管理できます。スコアカードにカテゴリを追加することで、独自の基準に基づいた会話の評価を開始できます。

ナビゲーションパス：Zendesk QA >「設定」>「AI」

Zendesk QAのプロンプトベースのAIインサイトでは、最新のAIモデルを活用し、品質の自動スコアリングやリスク検出のために、AIを活用したプロンプトをカスタマイズできます。

管理者やアカウントマネージャーは、システムカテゴリ、手動カテゴリ、テキストの完全一致のカテゴリに加え、AIプロンプトベースの評価カテゴリを作成できます。

どの評価カテゴリを使用しても、カスタマーとの会話を効果的に評価できます。AIプロンプトベースのカテゴリを使用すると、自然な言葉遣いでカスタマーとの会話に焦点を当てた質問を行い、独自の基準に基づいて自動的にスコアリングを行うことができます。

この記事では、ZendeskのAIプロンプトライブラリから既成のAIプロンプトベースの評価カテゴリを選択する方法と、独自のAIプロンプトベースのカテゴリを作成する方法について説明します。

ヒント：AIプロンプトベースのカテゴリを正常に機能させるには、オートQAを使用した自動スコアリングおよびLLMベースのオートQAのアカウント設定を有効にする必要があります。

管理者およびアカウントマネージャーは、アクティブなAIプロンプトベースの評価カテゴリとAIプロンプトベースのスポットライトインサイトを1アカウントあたり最大10個作成できます。この上限に達した後、さらにインサイトを作成するには、既存のインサイトを非アクティブにするか、削除する必要があります。

AIプロンプトベースのカスタム評価カテゴリを作成するには

「品質保証」の画面右上にあるプロフィールアイコンをクリックします。
設定（）をクリックします。
サイドバー（）の「アカウント」で、「AI」をクリックします。
「AIインサイトを作成」をクリックします。
プロントベース」のAIインサイトタイプを選択します。
「AIインサイト名」に入力します。
「AIインサイトの説明」で「プロンプトライブラリ」をクリックして、「AIプロンプトライブラリ」から標準搭載のプロンプトを選択します。「プロンプトを使用」をクリックします。
また、既存のプロンプトを特定のニーズに合わせてカスタマイズしたり、いちから新しいプロンプトを作成することもできます。
1. 「何を検出しますか？」で、このインサイトで検出する対象と達成す目標を明確に記述します。
  エージェントの行動に焦点を当てるのか、カスタマーの行動に焦点を当てるのかを明確にし、客観的で測定可能な言葉を使うようにします。入力可能な文字数は最大2,000文字です。
  
  正確で行動につながるインサイトを得るには、AIインサイト用プロンプト作成のベストプラクティスに従ってください。
2. （オプション）「カスタム手順」を有効にすると、以下の4つの追加質問に回答することで、より効果的なプロンプトを作成することができます。各質問には最大500文字まで入力可能です。
  1. 検出したい内容をどのように定義しますか？例：「エージェントがカスタマーの質問に対応し、次のステップを提示する際に、明確で簡潔な言葉を使っているかどうか」
  2. 検出対象に含めないのはどのようなケースですか？例：「このプロンプトではトーン、礼儀正しさ、共感性は評価対象外です。あくまでコミュニケーションの明確さと一貫性のみに重点を置きます」
  3. 良い例（任意）を入力してください。このプロンプトの基準を満たすメッセージや状況を示し、期待されるアウトカムを明確にします。例：「お客様の問題を確認しました。次のステップに従ってください。まずパスワードをリセットし、再度ログインをお試しください」
  4. 悪い例（任意）を入力してください。基準を満たしていないメッセージや状況の例を示すことで、AIが誤ったケースや無関係な内容を区別できるようにします。例：「ご報告いただいた問題について、こちらの記事をご確認ください。それでも解決しない場合はお問い合わせください」
3. 「検出条件」に、エージェントがこのカテゴリで「いいね」（）のポジティブ評価を受けるための要件を説明するスコアリングプロンプトを追加入力します（最大128文字）。正確な評価が得られるよう、ZendeskのスコアリングプロンプトベースのAIインサイトのベストプラクティスに従ってください。
4. 「検出しない条件」に、エージェントがこのカテゴリで「ダメ」（）のネガティブ評価を受けることになる要因を説明するスコアリングプロンプトを追加入力します（最大128文字）。たとえば、エージェントがデモを提供しておらず、メッセージ内に「デモを予約しましょう」というテキストも含まれていない場合、このカテゴリでネガティブ評価のスコアが付けられます。
  メモ：AIがプロンプトに基づいて明確な回答を見つけられない場合、カテゴリは自動的に「該当なし」と評価されます。
「検証」をクリックすると、現在のプロンプトを改善するためのフィードバックとヒントを受け取ることができます。
推奨される使用タイプ」で、「スコアカードのカテゴリとして使用」を選択します。
（オプション）「プロンプトをテスト」をクリックし、プロンプトが正しく機能し、指定された基準を満たしていることを確認します。
「会話フィルター」ビューには、プロンプトベースのインサイトに基づいて検出された会話の総数が表示されます。

テスト用の会話プールを特定の条件に絞るため、デフォルトでは、過去7日間に作成され、返信が5件以上ある終了済みの会話が、最大100件フィルターに表示されます。
（オプション）「テスト用に選択」をクリックします。このプロンプトによって検出された会話は、右側のパネルに10件ずつ表示されます。
（オプション）結果をテストします。
1. （オプション）各会話の横にある「レビュー」をクリックし、作成中のプロンプトに基づいて手動でスコアを付けます。これにより結果を比較し、自動レビューと手動レビューのスコアが一致する頻度を確認できます。
2. 「自動レビュー実行」をクリックすると、「オート」セクションのリストの全会話に自動的に適用されたプロンプト条件の結果を確認できます。
  黄色でハイライトされた会話が多い場合は、意図した会話のスコアリングとAIによるスコアリングとに乖離がある可能性が高いことを示しています。プロンプトの言い換えを検討してください。
  
  プロンプトの検出対象を言い換える場合、変更が軽微なときは、再度「自動レビュー実行」をクリックできます。ただし、評価の対象をエージェントからカスタマーに変更するなどで、変更が大きくなった場合、プロンプトのタイプがカテゴリからスポットライトに変更されることがあります。このような場合には、ステップ10に戻り、「プロンプトをテストする」を再度クリックする必要があります。
「カテゴリを作成」をクリックします。
カテゴリを作成した後、そのカテゴリをスコアカードに追加して使用を開始する必要があります。