使用网络抓取程序为外部内容建立索引

所有 Suite：

Team、Growth、Professional、Enterprise 或 Enterprise Plus

Support，含

知识 Professional 或 Enterprise

概要：◀▼

使用网络抓取程序为帮助中心搜索和专员知识的公开外部内容建立索引，而无需开发者帮助。您可以抓取整个网站或特定 URL、应用 URL 筛选、运行多个抓取程序，并确保内容可按来源搜索。抓取程序支持对 JavaScript 内容进行自适应抓取，仅跟踪内部链接，并在同步失败时保留以前的结果。

通过网络抓取程序，您无需开发者资源即可抓取外部内容并建立索引，以供在 Zendesk 帐户中需要使用外部内容的任何地方直接调用。您可以设置多个抓取程序，以抓取相同或不同网站的各种内容并建立索引。您还可以抓取特定 URL 列表，而无需抓取整个网站。

当用户在帮助中心进行搜索时，抓取程序发现的相关外部内容将进行排名，并显示在搜索结果页面上。用户可以筛选这些结果，并单击链接以在另一个浏览器标签中查看外部内容链接。

本文章涵盖以下主题：

关于网络抓取程序
设置网络抓取程序

关于网络抓取程序

您可以创建最多 50 个网络抓取程序，以抓取相同或不同网站的外部内容并将其编入索引。从抓取的网站和网站内页面获取的内容可在您的 Zendesk 帐户中需要使用外部内容的任何地方使用。您要抓取的外部网站必须是公开（无需身份验证）的。

对于您创建的每个网络抓取程序，您可以选择抓取整个网站或仅限抓取单个页面。如果选择：

抓取整个网站，抓取程序会自动从已配置的起始 URL 发现链接，然后用它们抓取该网站的所有页面。
限制抓取单个页面，您可以指定最多 500 个要抓取的 URL。如果您输入多个 URL，将自动选择仅同步指定的 URL选项。但是，如果只输入一个起始 URL，您仍可以手动选择该选项，仅限抓取单个页面。如果输入网站地图，该选项将取消选择并禁用，因为抓取程序必须抓取网站地图的所有页面。

创建新的抓取程序时，您分配给抓取程序的名称将用于创建来源值。来源值用作帮助中心搜索的筛选。如果您以后想更改名称，可以随时编辑或分配不同的来源名称。请参阅管理网络抓取程序。

您可以使用简单的抓取程序设置，也可以选择配置高级设置，通过创建 URL 筛选来微调抓取程序设置。您可以创建 URL 筛选器，根据特定的通配符模式包含或排除特定的 URL。请参阅创建 URL 筛选以限制网站同步。

抓取程序配置后会定期运行。如果接受网站地图作为起始 URL 的输入，抓取程序将按照网站地图上的说明进行操作。否则，抓取程序将通过跟踪顶级页面上的链接自动发现链接，访问二级页面并提取其内容。抓取程序将以这种方式继续，访问每个链接的页面，然后根据链接到达网站层次结构中的下一个页面。以此类推，直到抓取程序抓取所有链接内容的四个级别或整个网站，以先到者为准。抓取程序仅跟踪指向网站域名内页面的链接；未访问任何外部页面。

网络抓取程序会在初始页面加载时为页面源中的内容建立索引，即使该内容已被 UI 元素（如可折叠面板）隐藏。网络抓取程序还可以使用自适应抓取来捕获需要 JavaScript 呈现的内容。在处理网站的每个部分之前，抓取程序会自动对少量页面进行采样，并比较标准抓取和完整浏览器呈现之间的结果。如果浏览器呈现捕获的内容明显增多，抓取程序将切换到浏览器模式以抓取网站的相应部分。这意味着可以以不同的模式抓取同一网站的不同部分。例如，静态博客组别可能使用标准抓取，而动态应用组别则使用浏览器呈现。此过程自动进行，无需配置。

如果抓取程序在定期计划抓取过程中未能从网站收集信息（例如，网站瘫痪或出现网络问题），帮助中心将保留上一次抓取的结果，这些结果仍可在帮助中心搜索。

设置网络抓取程序

您可在帮助中心设置多个抓取程序，用以抓取相同或不同网站的内容并将其编入索引。设置网络抓取程序时，请考虑以下事项：

网络抓取程序不适用于使用 gzip 文件压缩编码的网站。您将不会看到来自这些网站的搜索结果。
网络抓取程序不会遵守外部网站 robots.txt 记录中设置的抓取延迟。
更改频率标签绝对不会影响网络抓取程序。

注意：在使用帮助中心网络抓取程序时，您有责任遵守所有适用法律以及相关网站的条款和条件。您只能在您拥有与此类网站地图关联的域名时添加网站地图。使用帮助中心网络抓取程序，即表示您确认自己拥有要添加到该抓取程序的所有网站地图的域名，并且您有权抓取此类网站。

设置网络抓取程序

在知识管理中，单击侧栏中的设置 ()。
单击搜索设置。
在抓取程序下，单击管理。
单击添加抓取程序。
单击继续。
在来源和 URL标签中，配置以下内容：
- 连接名称：在抓取程序管理列表中识别您的网络抓取程序，用于创建用作帮助中心搜索筛选的搜索来源值。
- 同步频率：网络抓取程序运行并将数据同步到您的 Zendesk 帐户的时间间隔。您可以接受“每周”默认设置，或选择“从不”（用于一次性同步）、“每日”或“每月”。
- 配置以下内容以指定您要抓取的页面：
  - URL ：输入您要抓取的域名/页面的 URL（例如，test.com/faq.htm）。您最多可以在此字段中输入 500 个 URL。
  - 仅同步指定的 URL ：指定您是要仅抓取指定的 URL，还是抓取指定页面内的所有 URL。
    - 如果您只想抓取您输入的 URL，请选中此复选框。例如，如果您在 URL 字段中输入了 example.com 并选中了此复选框，则抓取程序将仅抓取 example.com 页面并建立索引。
    - 如果您要抓取链接到您输入的 URL 的每个页面，请取消选中该复选框。例如，如果您输入了 example.com 并取消选中此复选框，则抓取程序将抓取 example.com 页面以及该页面中链接的所有页面并建立索引。
（可选）添加 URL 筛选以根据特定通配符模式包含或排除特定 URL：
1. 单击高级设置标签，然后打开同步时查找更多 URL 。
  
  注意：有关 URL 筛选及其创建方法的更多信息，请参阅创建 URL 筛选以限制网站同步。
2. 如果您只想抓取符合以下条件的页面
  - 匹配您创建的通配符模式，选择将同步限制在特定模式并添加您要同步的模式，然后在URL字段中输入您要包含的URL 和通配符。
  - 不要匹配您创建的通配符模式，选择从同步中排除特定模式，并在 URL 字段中输入您要排除的URL 和通配符。
查看概要横幅以验证您的设置，并在必要时进行调整。
单击同步。
网络抓取程序将添加到抓取程序页面，开始抓取页面并为其内容建立索引。抓取程序将以同步频率字段中定义的时间间隔运行（请参阅上面的第 6 步）。如果抓取程序失败，系统会向抓取程序所有者发送一封包含故障排除提示的电邮通知，以帮助其解决问题。抓取程序将定期重试。
注意：Zendesk/External-Content 是网络抓取程序的用户代理。要防止抓取程序由于防火墙阻止请求而失败，请将 Zendesk/External-Content 加入白名单（或允许列表）。

如果您要设置网络抓取程序以提取外部内容用于：

帮助中心搜索，则您需要选择要在帮助中心搜索结果中包含和排除的内容。请参阅在帮助中心搜索结果中包含外部内容。
专员背景信息面板的“知识”组别，请参阅在背景信息面板中配置知识。

翻译免责声明：本文章使用自动翻译软件翻译，以便您了解基本内容。我们已采取合理措施提供准确翻译，但不保证翻译准确性

如对翻译准确性有任何疑问，请以文章的英语版本为准。