AIエージェントが受け取った表現が目的と一致することがどの程度確実かは、信頼度により決定します。
メッセージをクリックすると、そのメッセージが認識された内容と、その目的に対する信頼度が会話ログに表示されます。
 |
 |
信頼度のしきい値を選択できます。すなわち、目的の返信を送信するためにAIエージェントがどの程度の確度を持つ必要があるかを選択できます。
AIエージェントの信頼度のしきい値を60に設定したところ、ほとんどのユーザーがAIエージェントをトレーニングする際に最大の価値を提供するスイートスポットとして、50～70％のしきい値を設定していることが分かっています。しかし、あなたは自問するかもしれません。最適な信頼度のしきい値をどのようにして判断するのか？
これを決定するには、しきい値を下げたり上げたりするとどうなるかを知る必要があります。AIエージェントがしきい値の両側で表現を受け取るとどうなるでしょうか。
この記事では、次のトピックについて説明します。
信頼度のしきい値の設定
最初
推奨されるアプローチの1つは、最初は信頼度のしきい値を高くすることから始めることです。目的の回答に納得できたら、AIエージェントにさらに多くの表現とトレーニングを追加し、ユーザーからのフィードバックを加味して、その評価を下げて実験し、他のメトリックに影響を与えるかどうか調べることができます。
信頼度のしきい値の設定
AIエージェントの信頼度のしきい値は、設定 > 一般 > 信頼度のしきい値で確認できます
注 - 表現の信頼度に基づいて、条件ブロックと confidence_score パラメータを使用して異なる返信を送信できます。
信頼シナリオ
AIはメッセージを受信すると作動し、メッセージの内容を作成したすべての目的とその理解度と比較し、一致するものが見つかるかどうかを確認します。この分析に基づき、AIは簡単な計算を行い、目的のいずれかに属すると推論される信頼度のレベルと、AIが構築したこの表現との一致度を判断します。しきい値の範囲は0～100で、信頼度のしきい値がデフォルトの60の場合、60以上になると、一致した目的がトリガされ、その後のアクションと返信が実行されます。
- しきい値を超えている場合、その目的は正しいか間違っているかにかかわらずトリガされます。しきい値を低くすると、間違った目的がトリガされる可能性が高くなります。
- しきい値を下回ると、デフォルトの返信が送信されます。
- チケットの自動化では、しきい値を下回った場合、特に設定しない限り返信は送信されません。
チャットの自動化では、デフォルトの返信の設計に応じて、カスタマーがエスカレーションされる可能性があります。
信頼度のしきい値が高いほど、AIエージェントの精度は高くなりますが、送信されるデフォルトの返信が多くなります。したがって、次の5つの点を考慮する必要があります。
- AIエージェントで達成しようとしているメリットは何か
- AIエージェントが間違っていると、ビジネスとカスタマーにどのような損害があるか
- AIエージェントがデフォルトの返信を送信する場合、ビジネスとカスタマーにとってのコストはどのくらいかかるか
- 何もしない、またはエスカレーションすると、ビジネスやカスタマーとしてどのようなコストが発生するか
- デフォルトの返信の会話デザイン
注意事項
信頼度のしきい値を決定するには、詳細な分析を実行します。簡単な方法で詳細な分析を行うには、質問をします。
| 100件のメッセージのうち、どちらが適切か | |
| 誤答の可能性あり 50 問 + 正答 50 問 | デフォルト返信100件 / 実行したアクションなし |
| 誤答の可能性あり：40問 + 正答：60問 | デフォルト返信100件 / 実行したアクションなし |
| 誤答の可能性あり：30問 + 正答：70問 | デフォルト返信100件 / 実行したアクションなし |
| 誤答の可能性あり：20問 + 正答：80問 | デフォルト返信100件 / 実行したアクションなし |
回答は目的の返信をどのように構築したかによって異なります。
会話は柔軟に設計されているか
特に返品プロセスと返金問い合わせのような同様の目的に選択肢はありますか？カスタマーは、返品に関する一般的な言葉を多く共有するため、混同する可能性は高くなりますが、最初のメッセージで間違った目的がトリガされた場合、悪影響は低くなります。
トレーニングの効果
目的間で多くの混同が発生していますか？混同行列を分析することで、信頼度にプラスの影響を与える混同を減らすことができます。