現在のプランを確認
アドオン 品質保証（QA）またはワークフォースエンゲージメントマネジメント（WEM）

検証済みのAI要約◀▼

AIインサイトプロンプトを活用して、品質の自動スコアリングやリスク検出のためのカスタムプロンプトを作成し、エージェントのパフォーマンス評価を強化します。プロンプトは明確かつ客観的に作成し、主観的な表現は避けてください。時間、タグ、チャネルなどのメタデータ基準を利用して評価をより正確に行います。確立した基準に沿って評価の一貫性を保つため、明確な評価基準を定義します。

ナビゲーションパス：Zendesk QA >「設定」>「AI」
プロンプトベースのAIインサイトは現在、早期アクセスプログラム（EAP）で提供されています。EAPにはこちらから登録できます。

Zendesk QAのプロンプトベースのAIインサイトでは、最新のAIモデルを活用し、品質の自動スコアリングやリスク検出のために、AIを活用した自然な言葉遣いのプロンプトをカスタマイズできます。

AIインサイトのプロンプトライブラリにあるプロンプトは、そのまま使用したり編集して使用したりできるほか、独自のAIカスタムプロンプトのカテゴリやスポットライトを作成することも可能です。

これらのガイドラインに従うことで、評価者は生成AIを効果的に活用してカスタマーサポートエージェントのパフォーマンスを評価し、明確性と一貫性を保ちながら、サービス品質にしっかりと焦点を当てることができます。

この記事では、次のトピックについて説明します。

  • Zendesk QAのAIプロンプトを使用する際のコンプライアンスに関する提案
  • AIインサイトのプロンプトを作成する
  • プロンプトベースのAインサイトをスコアリングする

関連記事

  • Zendesk QAのAIインサイトについて（EAP）

Zendesk QAのAIプロンプトを使用する際のコンプライアンスに関する提案

Zendesk AIは、プライバシー、セキュリティ、正確性、透明性、そして顧客によるコントロールという当社の基本原則に基づいて構築されています。詳細については、「ZendeskのAI信頼」をご覧ください。

Zendeskのコンプライアンスおよび設定に関する提案は、法的助言を目的としたものではありません。Zendeskのプロンプトライブラリからのプロンプトを含め、システムとのやりとりにおいて、公正さと敬意を保ち、差別的または中傷的な言語を避け、目的に適合した内容であることを確認する責任は、ユーザーにあります。

すべてのコミュニケーションにおいて礼儀正しいトーンを維持し、プロンプトの作成や出力の使用にあたっては、その内容がユースケースに適していることを常にご確認ください。

また、カスタムプロンプトやZendesk QAのその他のAIプロンプトは、EUのAI法で定義される雇用関連などの高リスク領域における自動化された意思決定には使用しないでください。Zendeskは、こうしたプロンプトの誤用によって生じた結果について一切の責任を負いません。

AIインサイトのプロンプトを作成する

プロンプトはシンプルに保ち、一度に1つのカテゴリとスポットライトに焦点を当ててください。たとえば、「共感」と「文法」のような異なるトピックを、1つのプロンプトに組み合わせないようにしましょう。各カテゴリに対して、個別のプロンプトを作成することを推奨します。このようにカテゴリを分けることで、モデルが各プロンプトの評価を正確に行えるようになります。なぜなら、共感に対する評価なのか、文法に対する評価なのか、あるいはその両方なのかを判断するのは困難だからです。

これらのプロンプトの目的は、生成AIを使用してサービス品質に基づいてカスタマーサポートエージェントのパフォーマンスを評価することです。したがって、AIモデルがアクセスできないサードパーティアプリケーションや社内ドキュメントでの検証を必要とせずに、応答を生成できるようにしてください。

カテゴリとスポットライトの記述は客観的に行い、主観的な表現やフレーズを避けてください。主観的な記述は、一貫性のない測定不可能な評価を引き起こす可能性があります。

チケットに関連する時間、チケットタグ、チャネル、社内メモなどのメタデータを含む基準でプロンプトを作成する場合は、具体的に記述してください。

以下は、主観的な表現とそれに対応する客観的な表現の例です。記述の際には、推奨される客観的な表現を使用してください。

使用を避ける表現 推奨される表現
フレンドリーな 「礼儀を示した」または「丁寧な言葉遣いをした」
配慮のある 「顧客の問い合わせに対応した」または「顧客のニーズに対応した」
役に立つ 「関連する情報を提供した」または「提示された問題を解決した」
プロフェッショナルな 「フォーマルなトーンを保った」
自信に満ちた 「明快な説明を提供した」
礼儀正しい 「丁寧な言葉遣いをした」または「顧客に適切な応対をした」
あいまいな副詞と形容詞（例：まさに、本当に、絶対、少し） 副詞と形容詞は多くの場合省略可能ですが、使用する場合は客観的で測定可能な表現にします。

客観的な記述を使用するだけでなく、評価は会話のテキストのみに基づいて行う必要があります。各評価の評価基準を明確に定義してください。以下はその例です。

  • 具体的な基準を使用する。一般的な感覚や印象ではなく、エージェントがとった具体的な行動やアクションに焦点を当てます。
    • 使用を避ける表現：エージェントはフレンドリーでしたか？
    • 推奨される表現：エージェントは丁寧な言葉遣いをし、フォーマルなトーンを保ち、顧客に適切な配慮を示しましたか？
  • 期待を明確に定義する。各基準において満足のいくパフォーマンスの定義を明確にすることで、主観性を最小限に抑えてください。
    • 使用を避ける表現：エージェントのコミュニケーションは適切でしたか？
    • 推奨される表現：エージェントは、丁寧な言葉遣いをし、蔑称やスラングの使用を避けていましたか？これらの基準がすべて満たされない場合、エージェントにネガティブな評価をします。蔑称やスラングを使わずに、丁寧な言葉遣いをした場合は、ポジティブな評価をしてください。
  • 一貫した用語を使用する。すべての評価記述において言葉遣いを統一してください。1つの用語を一貫して使用してください。
    • 使用を避ける表現：同一の対象について、「同僚」、「従業員」、「取締役」、「アドボケイト」、「仲間」など、複数の用語を使用する
    • 推奨される表現：「エージェント」
      • 使用を避ける表現：「メンバー」、「発信者」、「ゲスト」、「サブスクライバー」

        推奨される表現：「顧客」

  • 略語や省略形を使用しない。
    • 使用を避ける表現：エージェントは、顧客のDOBを確認しましたか？
    • 推奨される表現：エージェントは、顧客の誕生日を確認しましたか？
  • 不必要に二重引用符を使用しない。エージェントまたは顧客が実際に発した言葉を引用する場合にのみ二重引用符を使用してください。このアプローチにより、特定の表現に縛られることなく、目的やセンチメントを柔軟に評価できます。
    • 使用を避ける表現：「エージェントは "よい一日を" と言いましたか？」
    • 推奨される表現：エージェントは顧客によい一日を願いました。
  • 例を提示：評価者が評価を行う際に参考となる、適切な回答と不適切な回答の例を提供してください。特定のビジネス用語の知識が必要な質問の場合、その用語を明確に指示に定義してください。
    • 使用を避ける表現：「エージェントは挨拶に部門名を使用する必要があります。」
    • 推奨される表現：「エージェントは挨拶で以下のリストから1つの部門名を選択する必要があります。」（適切な部門名のリストを提供します。）
  • 評価条件を明確にする。すべての条件を満たす必要があるか、一部を満たせば良いかを明示します。これを明確にすることで、評価の一貫性と信頼性を向上させます。
    • 使用を避ける表現：エージェントは顧客の予約番号と名前を確認しましたか？
    • 推奨される表現：エージェントは顧客の予約番号または名前を確認しましたか？
    • 推奨される表現：エージェントは顧客の予約番号と名前を確認しましたか？どちらも確認する必要があります。
  • 評価基準は否定形ではなく肯定形で記述する。この肯定的な表現により、より明確で効果的な評価につながります。
    • 使用を避ける表現：エージェントは蔑称を使用しませんでした。
    • 推奨される表現：エージェントは丁寧で礼儀正しい言葉遣いをしました。

メタデータを含むプロンプト

チケットに関連する時間、チケットタグ、チャネル、社内メモなどのメタデータを含む基準でプロンプトを作成する場合は、以下のガイドラインに従ってください。

  • 関心のある時間は具体的に記述する。
    • 避けるべき表現：「正確な時間」や「時宜を得たマナー」などの抽象的な用語は使わないこと。
    • 推奨される表現例：「顧客からの最初のメッセージに対して、担当者は2分以内に応答したか？」
  • 複雑な時間の計算式は使わない。
    • 避けるべき表現：メッセージ間の時間は合計で10分以内でなければならない。
    • 推奨される表現例：やりとりの開始から問題の解決まで10分以上会話が続いたか？
  • タイムゾーン情報を基準にしない。
    • 使用を避ける表現：同じタイムゾーン内のカスタマーには30分で対応する。
    • 推奨される表現例：会話の間、エージェントは顧客の各メッセージに30秒以内に応答したか？
  • 興味のあるチャネルを具体的に示す。
    • 避けるべき表現：「正しいチャネル」や「最も人気のあるチャネル」などの抽象的な用語は使わないこと。
    • 推奨される表現例：チャネルがメールの場合、アカウントの変更を処理する前に、エージェントは再確認を要求したか？
    • 推奨される表現例：チャネルがチャットの場合、複雑な技術的問題に対して、エージェントは電話へのエスカレーションを提案したか？
    • 推奨される表現：チャネルが電話の場合、書類を送る前に、エージェントは顧客のメールアドレスを復唱して確認したか？
  • 興味のあるメモを具体的に示す。「社内メモ」、「非公開メッセージ」などの言葉を使うこと。会話外のメモは、デフォルトではモデルからはアクセスできません。ヘルプデスク内にないメモにアクセスする必要がある場合、その情報を分析することはできません。
    • 避けるべき表現：たとえば、「エージェントはJiraチケットを作成したか？」のような、会話に含まれていないメモについて尋ねないこと。
    • 推奨される表現例：エスカレーションがあった場合、エージェントはそれを社内メモに書き留めたか？
    • 推奨される表現例：エージェントは、顧客の希望する折り返し電話の時間を社内メモに記録したか？
    • 推奨される表現例：今後の参考のために、エージェントは非公開メッセージで使用された解決策を文書化したか？
  • 興味のあるタグを具体的に示す。各タグの長さがあまり長くなければ、理想的にはすべてのタグのリストを提供します。例：「使用タグは "abc"、"def"、"ghi"。エージェントはこれらのタグを使ったか？」
    • 避けるべき表現：「正しいタグ」のような抽象的な用語は使用しないこと。
    • 推奨される表現例：顧客の問題をエスカレーションする際に、エージェントは "escalated_to_ticket" タグを使用したか？
    • 推奨される表現例：顧客から不正請求のクレームを受けたとき、エージェントは "billing_dispute" タグを適用したか？
    • 推奨される表現例：使用タグは "product_a"、"product_b"、"product_c "。商品の特徴について話すとき、エージェントはこのようなタグを使っていたか？

プロンプトベースのAインサイトをスコアリングする

プロンプトを設定したら、次に評価の適用方法を定義します。この定義には、ポジティブまたはネガティブな結果を定義し、これらの結果を表す明確な用語やフレーズを選択することが含まれます。たとえば、「はい/いいえ」「役立つ/役立たない」「丁寧/失礼」などの評価があります。

評価基準に基づいて適切な結果を割り当てることは、正確な評価を確保するために欠かせまん。

以下の例は、これらの評価を構造化する方法を示しています。

  • 礼儀正しい言葉遣い：
    • 質問：エージェントは礼儀正しい言葉遣いをしましたか？
      • ポジティブな結果：はい
      • 否定的な結果：いいえ
  • 蔑称の使用：
    • 質問：エージェントは蔑称を使用しましたか？
      • ポジティブな結果：いいえ
      • 否定的な結果：はい

これらのパラメータを明確に定義することで、評価に一貫性が生まれ、確立された評価基準と整合し、AQSスコアにも正確に反映されるようになります。

Powered by Zendesk