外部コンテンツをインデックス化するためのWebクローラーの活用

Suite、すべてのバージョン

Team、Growth、Professional、EnterpriseまたはEnterprise Plus

Support

ナレッジベース Professional または Enterprise

要約：◀▼

Webクローラーを使用すると、開発者の支援なしで、ヘルプセンターの検索やエージェント向けナレッジベース用に、公開されている外部コンテンツをインデックス化できます。サイト全体または特定のURLをクロールしたり、URLフィルターを適用したり、複数のクローラーを実行したり、コンテンツをソース別に検索可能な状態に保つことができます。このクローラーは、JavaScriptコンテンツに対応するアダプティブクロールをサポートし、内部リンクのみをたどり、同期に失敗した場合でも前回の同期結果を保持できます。

Webクローラーを使用すると、開発リソースを使わずに外部コンテンツをクロールしてインデックス登録し、Zendeskアカウント内で外部コンテンツを利用できるあらゆる場所で使用できます。複数のクローラーを設定して、同じWebサイトまたは異なるWebサイトの異なるコンテンツをクロールおよびインデックス化することができます。特定のURLのリストをクロールすることも可能です。サイト全体をクロールする必要はありません。

ユーザーがヘルプセンターで検索を実行すると、クローラーが検出した関連性の高い外部コンテンツがランク付けされて検索結果ページに表示されます。ユーザーはこの検索結果をフィルター処理したり、リンクをクリックして外部コンテンツのリンクを別のブラウザータブに表示したりできます。

この記事では、次のトピックについて説明します。

Webクローラーについて
Webクローラーの設定

Webクローラーについて

最大50個のWebクローラーを作成して、同じWebサイトまたは異なるWebサイトの外部コンテンツをクロールし、インデックス登録できます。クロールしたWebサイト（サイト内ページを含む）のコンテンツは、Zendeskアカウント内で外部コンテンツを使用するあらゆる場所で利用できます。クロールする外部サイトは、パブリック（認証不要）である必要があります。

作成するWebクローラーごとに、サイト全体をクロールするか、個々のページのみにクロールを限定するかを選択できます。以下のいずれかを選択できます。

サイト全体をクロールする。クローラーは、設定された開始URLからリンクを自動的に検出し、それらのリンクをたどってサイト内のすべてのページをクロールします。
個別のページのみをクロールする。クロール対象のURLを最大500個の指定できます。複数のURLを入力すると、「指定したURLのみを同期する」オプションが自動的に選択されます。なお、開始URLを1つだけ入力した場合でも、このオプションを手動で選択することで、クロールを単一ページに制限できます。サイトマップを入力した場合は、サイトマップ内のすべてのページをクロールする必要があるため、このオプションは選択解除され、無効になります。

新しいクローラーを作成すると、クローラーに設定した名前が「ソース」の値として使用されます。「ソース」の値は、ヘルプセンター検索でフィルターとして使用されます。後で名前を変更したい場合は、いつでも編集したり別のソース名を割り当てたりできます。詳しくは「Webクローラーの管理」を参照してください。

シンプルなクローラー設定を使用することも、詳細設定を使用してURLフィルターを作成し、クローラーの設定を細かく調整することもできます。特定のワイルドカードパターンに基づいて、特定のURLを含めるか除外するURLフィルターを作成できます。詳しくは「Webサイトの同期範囲を限定するURLフィルターの作成」を参照してください。

設定が完了すると、クローラーが定期的に実行されます。開始URLとしてサイトマップが指定され、そのサイトマップが受け入れられた場合、クローラーはサイトマップの指示に従います。それ以外の場合、クローラーはトップレベルのページ上のリンクを自動的に検出してたどり、下位ページにアクセスしてそのコンテンツを取り込みます。クローラーはこの方法で、リンクされている各ページにアクセスし、サイト階層内の次のページへのリンクを順にたどっていきます。この処理は、リンク先のコンテンツを4階層分すべてクロールするか、サイト全体のクロールが完了するまで続きます。クローラーは、サイトドメイン内のページにつながるリンクのみをたどり、外部ページにはアクセスしません。

Webクローラーはページの初回読み込み時に、アコーディオンなどのUI要素で非表示になっている場合でも、ページソース内にあるコンテンツをインデックスに追加します。Webクローラーは、JavaScriptによるレンダリングが必要なコンテンツを収集するために、適応型クロールを使用することもできます。Webサイトの各セクションを処理する前に、クローラーは自動的に少数のページをサンプリングし、標準フェッチと完全なブラウザレンダリングの結果を比較します。標準フェッチよりもブラウザレンダリングの方が明らかに多くコンテンツを取得できる場合、クローラーはサイトのそのセクションに対してブラウザモードに切り替えます。つまり、同じWebサイト内でも、部分によって異なるモードでクロールされる場合があります。たとえば、静的なブログセクションでは標準フェッチが使用され、動的なアプリセクションではブラウザレンダリングが使用される場合があります。この処理は自動的に行われるため、設定は不要です。

定期的に実行されるクロール時に、たとえばWebサイトがダウンしていたりネットワークに問題があったりして、情報を取得できなかった場合でも、ヘルプセンターでは前回のクロール結果が保持され、引き続き検索に使用されます。

Webクローラーの設定

ヘルプセンターで複数のクローラーを設定して、同一Webサイトまたは異なるWebサイトのさまざまなコンテンツをクロールし、インデックスを作成することができます。Webクローラーを設定する際には、以下の点を考慮してください。

Webクローラーは、gzipファイル圧縮エンコーディングを使用するWebサイトでは機能しません。これらのサイトからの検索結果は表示されません。
外部サイトのrobots.txtファイルで設定されたcrawl-delayは、Webクローラーによって無視されます。
changefreqタグはWebクローラーには何の影響も与えません。

メモ：ヘルプセンターのWebクローラーは、適用されるすべての法律および関連するWebサイトの利用規約を遵守して使用する必要があります。サイトマップの追加は、そのようなサイトマップに関連付けられたドメインを所有している場合にのみ行ってください。ヘルプセンターのWebクローラーを使用することにより、クローラーに追加されたすべてのサイトマップのドメインを所有していること、およびそのようなWebサイトをクロールする権利があることを確認するものとします。

Webクローラーを設定するには

「ナレッジベースの管理」で、サイドバーにある設定アイコン（）をクリックします。
「検索設定」をクリックします。
「クローラー」の「管理」をクリックします。
「クローラーを追加」をクリックします。
「続行」をクリックします。
「ソースとURL」タブで、以下を設定します。
- コネクション名：クローラー管理リストでWebクローラーを識別するために使用されます。また、ヘルプセンター検索でフィルターとして使用される検索ソースの値の作成にも使用されます。
- 同期頻度：Webクローラーを実行してZendeskアカウントにデータを同期する間隔です。デフォルトの「毎週」のままにするか、「なし」（1回限りの同期）、「毎日」、または「毎月」を選択できます。
- クロールするページを指定するには、以下を設定します。
  - URL：クロールするドメインまたはページのURLを入力します（例：test.com/faq.htm）。このフィールドには最大500個のURLを入力できます。
  - 指定したURLのみを同期する：指定したURLのみをクロールするか、指定したURLからリンクされているすべてのページをクロールするかを指定します。
    - 入力したURLのみをクロールする場合は、このチェックボックスを選択します。たとえば、URLフィールドにexample.comと入力してこのチェックボックスを選択すると、クローラーはexample.comのページのみをクロールしてインデックスに登録します。
    - 入力したURLからリンクされているすべてのページをクロールする場合は、このチェックボックスの選択を解除します。たとえば、example.comと入力してこのチェックボックスをオフにすると、クローラーはexample.comのページと、そのページからリンクされているすべてのページをクロールしてインデックスに登録します。
（オプション）特定のワイルドカードパターンに基づいてURLを含めたり除外したりするURLフィルターを追加するには、次の手順を実行します。
1. 「詳細設定」タブをクリックし、「同期中にさらにURLを探す」をオンにします。
  
  メモ：URLフィルターの詳細と作成方法については、「Webサイトの同期範囲を限定するURLフィルターの作成」を参照してください。
2. クロールするページを以下のいずれかに限定したい場合は、該当するオプションを選択します。
  - 作成したワイルドカードパターンに一致するページのみをクロールする場合は、「同期を特定のパターンに限定する」を選択し、同期したいパターンを追加してから、「URL」フィールドに含めるURLとワイルドカードを入力します。
  - 作成したワイルドカードパターンに一致しないページのみをクロールする場合は、「特定のパターンを同期から除外する」を選択し、除外するURLとワイルドカードを「URL」フィールドに入力します。
「概要」バナーを確認して設定を検証し、必要に応じて調整します。
「同期」をクリックします。
Webクローラーが「クローラー」ページに追加され、ページのクロールとコンテンツのインデックス登録が開始されます。クローラーは、「同期頻度」フィールドで定義された間隔で実行されます（上記のステップ6を参照）。処理に失敗した場合、クローラーのオーナーに、問題解決に役立つヒントを含むメール通知が送信されます。クローラーは定期的に再試行します。
メモ：Zendesk/External-Contentは、Webクローラーのユーザーエージェントです。ファイアウォールがリクエストをブロックすることでクローラーが失敗しないようにするには、Zendesk/External-Contentを許可リストに登録します。

Webクローラーを設定して外部コンテンツを取得する場合：

ヘルプセンター検索の場合は、ヘルプセンターの検索結果に含めるコンテンツと除外するコンテンツを選択する必要があります。詳しくは「ヘルプセンターの検索結果に外部コンテンツを含める方法」を参照してください。
エージェント向けのコンテキストパネルのナレッジベースセクションについて詳しくは「コンテキストパネルのナレッジベースの設定」を参照してください。