Webクローラーを使用すると、コンテンツを高度なAIエージェントに取り込むことができます。これにより、外部Webサイトの情報に基づいて、カスタマーの質問に対するAI生成の回答を作成できるようになります。
この記事では、Webクローラーを使用してコンテンツを高度なAIエージェントにインポートするためのベストプラクティスをいくつか紹介します。
この記事では、以下のトピックについて説明します。
関連記事
適切なタイプのサイトでWebクローラーを使用する
Webクローラーは、ヘルプセンターや製品説明ページとして構成されたWebサイトから情報を収集する用途に最適です。一方、eコマースページについては、関連する製品情報を取得し、その情報を対話やプロシージャで利用できるインテグレーションを構築することを推奨します。
メインのナレッジソースとしては、Zendeskヘルプセンターの使用を推奨します。Webサイトは、動的要素やJavaScriptを含むなど構造が多様であるため、内容を予測可能な形で安定して取り込むことが難しい場合があります。Webクローラーには高度な設定オプションがありますが、それらを効果的に利用するには有効化や一定の運用経験が必要です。Zendeskヘルプセンターは、フォーマットが本質的にシンプルで予測しやすいため、より良い結果が得られます。また、Zendeskヘルプセンターを使用した場合、インポート処理も一般的に高速に完了します。
なお、クロールできるのは公開されているWebサイトのみです。認証が必要なWebサイトには、Webクローラーはアクセスできません。
再インポートは適切な頻度に抑える
インポートはリアルタイムのWeb検索ではありません。AIエージェントは、ヘルプセンター、ファイル、Webサイトのライブデータを直接検索することはなく、情報は一度きり、または定期的にAIエージェントへ取り込まれます。AIエージェントは、このインポートされた情報をもとに返信を生成します。
ナレッジソースが非常に頻繁に更新される場合を除き、毎日のインポートは推奨されません。多くの組織では、週次または月次のインポート頻度で十分です。なお、定期スケジュールとは別に、変更をすぐに反映させたい場合は、手動で再インポートを実行できます。
ナレッジソースの総数を必要最小限に抑える
1つのAIエージェントには、複数のナレッジソース（複数のWebクロールを含む）を追加できます。ただし、ナレッジソースの総数は、適切な範囲に抑えることを推奨します。ソース数が多すぎると、場合によっては回答精度の低下や応答遅延の増加につながることがあります。
インポートの概要を確認する
クロールは成功したものの、他の問題（たとえば、AIエージェントの回答が不完全、または品質が低いなど）が発生した場合は、インポートの概要を確認することで、想定どおりにすべてのURLやコンテンツが取り込まれているかを確認できます。これは、インポートされた内容を把握し、インポート後のトラブルシューティングを行うために、まず最初に確認すべき方法です。
小規模に始めてテストする
コンテンツが正しくクロールされているかを確認したい場合、特定のパターンに従うページがあるのであれば、そのうち1～2ページにクロール対象を限定するのが最も迅速な方法です。たとえば、1つの対象ページを「開始URL」に設定し、「クロールの最大深度」 0に指定します。または、短時間で処理できるように「クロールする最大ページ数」を最小限に設定する方法もあります。