A/Bテストは、訪問者を区別してエクスペリエンスを差別化するメカニズムです。A/Bテストでは、以前のバージョンを削除する前に、AIエージェントのエクスペリエンスへの変更が最も重要なCX KPIに与える影響を把握できるため、データに基づく反復処理が可能になります。
AIエージェント（Advanced）アドオン内でA/Bテストを実行するには、いくつかの方法があります。
API/ラベルベースの分離
APIから取得したフィールドまたは対話フロー内で設定されたラベルに基づいて、条件設定ブロック内でこれを使用して訪問者を別のパスに誘導できます。
分離基準の例：
誰かがデフォルトの返信をトリガしたかにかかわらず、それ以降の返信は異なります。
目的の認識ではなく、ウェルカムメッセージの後にボタンを使用すると、異なるメッセージが表示されます。
CRMでは、グループを分割する任意のフィールドを使用できます。例えば、カスタマーのステータスに合わせた選択肢や、場所などのよりランダムな選択肢があります。
AIエージェント/チャネルベースの分離
チャネルに基づいてエクスペリエンスを差別化することを推奨しています。ただし、コミュニケーションスタイルについては、異なるAIエージェントを使用するか、FacebookやWhatsappなどのメッセージングソースで分離することで、ソーシャルチャネル全体でA/Bテストを実行できます。
トラフィック分離API
メモ - この機能を使用する場合、CSMに問い合わせてこの機能を有効にしてください。
これは、コンテンツベースのA/BテストをコンパイルするtrafficSplitロジックがダッシュボードでホストされる際、実際のデータが転送されないように見せかけたインテグレーションを使用して実行されます。管理グループの関連付けのランダム化をサポートするために、フェイクインテグレーションが必要です。
グループの分割を設定する
このフェイクインテグレーションでは、splitパラメータを使用します。
[split]パラメータは、選択した管理グループの数とシェアにユーザーを動的に配分します。自分でシェアを最大100まで追加する必要はありませんが、配分が正しいことを確認してください。分割比率の例を以下に示します。
1 = 1つの管理グループ（100%）
1,1 = 2つの管理グループ（50%ずつの均等なシェア）
1,1,1 = 3つの管理グループ（33.3333333333%ずつの均等なシェア）
1,2,1 = 3つの管理グループ、1つは50%のシェア、残りの2つは25%ずつ - 1つの管理グループと1つのバリアントに25%ずつ配分。
パーセンテージ（50、50など）で設定することもできます。重要なのは、相互の関係です。
グループには必ず次の形式で名前が付けられます。最初のグループは[control]、2番目は[variant_1]、3番目は[variant_2]と続きます。
最初のグループは常に[control]グループになります。
対話設定
フェイクインテグレーションのコール時に、このパラメータを最新の状態に設定できます。ユーザー基盤を公平かつ均等に分散させるために、このパラメータをウェルカム返信に追加することを推奨します。ただし、CRMでサポートされている場合は、テストを実行する各返信に設定できます。
- 会話データとラベルに分割パラメータを文字列として設定し、訪問者を分割する会話を識別します。
- APIインテグレーションブロックを追加し、インテグレーションソースとしてtrafficSplitを選択します。
-
収集パラメータ分割：このパラメータをまだ設定していない場合、収集パラメータ分岐で最新のものを選択します。必要な場合以外は、AIエージェントのメッセージを削除し、コレクションを折り畳むことで、この分岐を非表示にできます。
結果シナリオ：自由に使用できます。このシナリオでは、会話を管理グループに割り当てるだけです。
ApiErrorシナリオ：これは実際のAPIではないため、トリガされることはほとんどありません。ただし、フェイクインテグレーションが妨げられても、カスタマーエクスペリエンスがシームレスで、AIエージェントが機能し続けるように、フォールバックを追加してください。ウェルカム返信は、他の返信と同様に行うことができます。ただし、後で対話を進めるために必要なパラメータをすべて設定してください。 - 値のラベルを追加して、パラメータを会話データに保存します{{variant}}。
A/Bテスト中に管理グループに割り当てられた会話のバッチ全体を識別するために、会話ドキュメントラベルをシナリオの成功パス内に追加することをお勧めします。
trafficSplitバリアントを使用する
技術的には、フェイクインテグレーションの結果が適用された直後に分岐させることができますが、その必要はありません。これで、[control]、[variant_1]、[variant_2]など各[variant]の結果を持つパラメータ[split]ができました。これを条件設定ブロックでいつでも分岐させることができます。
このtrafficSplitでは、カスタマーに3つの異なるソリューション（2つの異なるセルフサービスリンクと1つのAIエージェント内API）を提供します。すべてのユーザーは、ランダムに割り当てられた{{variant}}の結果に基づいて条件設定ブロックに割り当てられます。フォールバックは、ApiErrorのエッジケースをサポートするために用意されています。カスタマーにとってシームレスな方法で作成し、会話ログでタグを付けて、将来の問題の特定とトラブルシューティングを容易にします。
次に、成功メトリック（CSATまたはAIエージェント処理）を定義し、バリアントパスに設定されたラベルを使用する、またはTableauを介してそのメトリックに対して[variant]の結果を実行します。