通过网络抓取程序，您无需开发者资源即可抓取外部内容并建立索引，以供在 Zendesk 帐户中需要使用外部内容的任何地方直接调用。您可以设置多个抓取程序，以抓取相同或不同网站的各种内容并建立索引。您还可以抓取特定 URL 列表，而无需抓取整个网站。
当用户在帮助中心进行搜索时，抓取程序发现的相关外部内容将进行排名，并显示在搜索结果页面上。用户可以筛选这些结果，并单击链接以在另一个浏览器标签中查看外部内容链接。
关于网络抓取程序
您可以设置一个或多个网络抓取程序，以抓取相同或不同网站的外部内容并建立索引。从抓取的网站和网站内页面获取的内容可在您的 Zendesk 帐户中需要使用外部内容的任何地方使用。您要抓取的外部网站必须有一个网站地图，其中列出了网络抓取程序可以抓取的页面。此外，您要抓取的页面必须是公开的（无需身份验证）。
- 抓取整个网站，抓取程序会自动找到与起始 URL 关联的网站地图或您指定的网站地图，然后用它抓取该网站的所有页面。
- 仅限抓取单个页面，您可以指定 5 个要抓取的 URL。如果输入多个 URL，系统将自动选择仅限抓取这些 URL 选项。但是，如果只输入一个起始 URL，您仍可以手动选择该选项，仅限抓取单个页面。如果输入网站地图，该选项将取消选择并禁用，因为抓取程序必须抓取网站地图的所有页面。
创建新的抓取程序时，您分配给抓取程序的名称将用于创建来源值。来源值用作帮助中心搜索的筛选。如果您以后想更改名称，可以随时编辑或分配不同的来源名称。请参阅管理网络抓取程序。
配置完成后，抓取程序将按计划定期运行，访问网站地图的页面，并将这些来源的内容提取到帮助中心的搜索索引中。网络抓取程序会在初始页面加载时为页面源中的内容建立索引，即使该内容已被 UI 元素（如可折叠面板）隐藏。然而，由于抓取程序不运行 JavaScript，它们无法抓取 JavaScript 呈现的内容或初始页面加载后动态呈现的其他内容。
网络抓取程序不会抓取所访问页面上的链接，而只会按照配置访问网站地图中可以使用的页面。如果抓取程序在定期计划抓取过程中未能从网站收集信息（例如，网站瘫痪或出现网络问题），帮助中心将保留上一次抓取的结果，这些结果仍可在帮助中心搜索。
设置网络抓取程序
- 网络抓取程序不适用于使用 gzip 文件压缩编码的网站。您将不会看到来自这些网站的搜索结果。
- 网络抓取程序不会遵守外部网站 robots.txt 记录中设置的抓取延迟。
- 更改频率标签绝对不会影响网络抓取程序。
设置网络抓取程序
-
在知识管理中，单击侧栏中的设置 (
)。
- 单击搜索设置。
- 在抓取程序下，单击管理。
- 单击添加抓取程序。
- 单击继续。
- 在同步来自网站的内容中，输入以下内容：
- 您要分配给抓取程序的抓取程序名称。此名称可识别抓取程序管理列表中的网络抓取程序，并用于创建在帮助中心搜索中用作筛选的搜索来源值。
-
您要抓取的一个或多个网站页面的起始 URL。如果您想要：
- 抓取整个网站，请输入主域名（例如 zendesk.com）或网站地图路径（例如 zendesk.com/sitemap.xml）
-
仅限抓取单个页面，请在此字段中输入域名/页面值（例如 test.com/faq.htm）。单击 + 添加另一个可添加 URL（最多 5 个）。
选择此选项后，抓取程序将仅抓取设置期间指定的起始 URL 并建立索引。
- 单击同步。网络抓取程序将添加到抓取程序页面。抓取程序将在 24 小时内抓取并解析指定的网站地图。网站地图处理成功后，抓取程序即开始抓取页面，并对其内容建立索引。如果抓取程序失败，系统会向抓取程序所有者发送一封包含故障排除提示的电邮通知，以帮助其解决问题。抓取程序将定期重试。注意：Zendesk/External-Content 是网络抓取程序的用户代理。要防止抓取程序由于防火墙阻止请求而失败，请将 Zendesk/External-Content 加入白名单（或允许列表）。
- 帮助中心搜索，则您需要选择要在帮助中心搜索结果中包含和排除的内容。请参阅在帮助中心搜索结果中包含外部内容。
- 专员背景信息面板的“知识”组别，请参阅在背景信息面板中配置知识。