高度なAIエージェントのパフォーマンスを最適化するには、分析を通じて改善の機会を見極め、より効果的な対話を構築しましょう。
この記事では、以下のトピックについて説明します。
分析を利用してAIモデルを改善する
分析を活用して、AIエージェントの理解度や回避率を改善できる領域を特定します。
このセクションでは、以下のトピックについて説明します。
回避率を向上させる
会話が人間のエージェントにエスカレーションされることなく終了した場合、その会話は回避できたと判断されます。回避できなかった会話を見直し、回避率を改善するための対策を講じます。
会話ログを最後まで読み、次の項目を探して、対話がどの程度機能しているかを確認します。
- 対話が中断される：ユーザーは、提供されたボタンを使用しなかったり、エスカレーションフローの途中で注文番号を尋ねたりして、対話を中断することがあります。ユーザーをスムーズに誘導するために、目的認識を組み込むかフリーテキストを加えることを検討してください。
- 指示が正しく伝わらない：長いメッセージはユーザーに読まれにくい傾向があります。簡潔で明確なメッセージにすることを検討しましょう。
- 情報が足りない：ユーザーが、フローを進めるために必要な重要な情報を把握していない可能性があります。その場合は、ライブエージェントであればどう対応するかを考え、それに近い情報を対話内にできるだけ盛り込むようにしてください。
- デフォルトの返信を調整する：ユーザーの期待値を調整しながら、対話の流れを適切にナビゲートします。詳しくは「高度なAIエージェントのシステム返信について」を参照してください。
- コンテンツカバレッジ分析を使用する：自動化できる可能性のある新たな目的を特定します。「コンテンツカバレッジ分析の実行」を参照してください。
- APIインテグレーションを使用する：APIインテグレーションを活用して、さらに多くの会話を自動化するための適切なユースケースを特定します。詳しくは「カスタムインテグレーションの作成準備」を参照してください。
その他の主要なメトリックを見直す
AIエージェントの左サイドバーにある「分析>AIエージェントの分析」で、その他の主要メトリックを確認できます。AIエージェントのパフォーマンスを最適化するには、以下の点に注目します。
- メッセージの認識率と未認識率の比較
- AIエージェント処理率
- エスカレーション率
- カスタム解決率
よりスマートな対話を利用して、ユーザーエクスペリエンスを改善する
以下のツールを利用することで、より効果的な対話を設計し、AIエージェントとのカスタマーエクスペリエンスの質を高めることができます。
- バックエンドインテグレーション：高度なAIエージェントがユーザーに提供する情報を取得するには、可能であればバックエンドインテグレーションを使用することをお勧めします。
- 条件ブロック：特定のキーワードに基づいて別のフローに分岐するには、条件ブロックを使用します。これにより、ユーザーが過去に同じフローを体験している場合、エスカレーション前の会話をよりスムーズに進めることができます。
-
信頼度スコア：条件ブロックでネイティブパラメータ
confidence_scoreを使用することで、AIエージェントの信頼度が低いと想定される場合のフォールバック応答を設定できます。- メッセージングAIエージェントでは、スコアが90%未満の場合、AIエージェントが別の方法で目的を確認することができます。例：「念のため確認させてください。パスワードをお忘れで、リセットをご希望ということでよろしいですか？」
- メールAIエージェントの場合、トピックに対する信頼度が低い場合は、返信を省略し、アクションのみをトリガすることができます。
- エスカレーションテンプレート：エスカレーションプロセスを特定のフローごとに管理するのではなく、1つの一元化されたテンプレートで管理することにより、応答を効率化します。営業時間を設定して、ユーザーの期待値を管理し、適切にエスカレーションします。
- A/Bテスト：A/Bテストを使用して、データに基づいた意思決定で対話フローを最適化します。詳しくは「高度なAIエージェントのA/Bテストの実行」を参照してください。