웹 크롤러를 사용하면 개발자 리소스 없이 Zendesk 계정에서 외부 콘텐츠를 사용할 때마다 외부 콘텐츠를 크롤링하고 색인화할 수 있습니다. 여러 크롤러를 설정하여 같은 웹사이트나 다른 웹사이트의 서로 다른 콘텐츠를 크롤링하고 인덱싱할 수 있습니다. 전체 사이트를 크롤링하지 않고도 특정 URL 목록을 크롤링할 수도 있습니다.

사용 중인 플랜
모든 Suite Team, Growth, Professional, Enterprise 또는 Enterprise Plus
지원 Guide Professional 또는 Enterprise

웹 크롤러를 사용하면 개발자 리소스 없이 Zendesk 계정에서 외부 콘텐츠를 사용할 때마다 외부 콘텐츠를 크롤링하고 색인화할 수 있습니다. 여러 크롤러를 설정하여 같은 웹사이트나 다른 웹사이트의 서로 다른 콘텐츠를 크롤링하고 인덱싱할 수 있습니다. 전체 사이트를 크롤링하지 않고도 특정 URL 목록을 크롤링할 수도 있습니다.

사용자가 헬프 센터에서 검색을 수행할 때 크롤러가 발견하는 관련 외부 콘텐츠에 순위가 매겨져 검색 결과 페이지에 제시됩니다. 여기에서 사용자는 결과를 필터링하고 링크를 클릭하여 다른 브라우저 탭에서 외부 콘텐츠 링크를 볼 수 있습니다.

이 문서에서 다루는 주제는 다음과 같습니다.
  • 웹 크롤러에 대한 정보
  • 웹 크롤러 설정하기

웹 크롤러에 대한 정보

하나 이상의 웹 크롤러를 설정하여 같은 웹사이트나 다른 웹사이트의 외부 콘텐츠를 크롤링하고 색인화할 수 있습니다. 크롤링된 웹사이트의 콘텐츠와 웹사이트 내의 페이지는 Zendesk 계정에서 외부 콘텐츠를 사용할 때마다 사용할 수 있습니다. 크롤링하려는 외부 사이트에 웹 크롤러를 위한 페이지를 나열하는 사이트맵이 있어야 합니다. 또한 크롤링하려는 페이지가 인증되지 않는 공개 페이지여야 합니다.

웹 크롤러를 만들 때 전체 사이트를 크롤링하거나 설정 중 지정하는 최대 5개의 페이지로 크롤링을 제한할 수 있습니다. 다음과 같이 선택할 수 있습니다.
  • 전체 사이트를 크롤링하면 크롤러가 지정한 시작 URL이나 사이트맵과 연결된 사이트맵을 자동으로 찾은 다음 이를 사용하여 해당 사이트 내의 모든 페이지를 크롤링합니다.
  • 개별 페이지로 크롤링을 제한하면 크롤링하려는 URL을 최대 5개까지 지정할 수 있습니다. 두 개 이상의 URL을 입력하면 해당 URL로 크롤링 제한 옵션이 자동으로 선택됩니다. 하지만 시작 URL을 하나만 입력하는 경우에도 이 옵션을 수동으로 선택하여 단일 페이지로 크롤링을 제한할 수 있습니다. 사이트맵을 입력하면 크롤러가 사이트맵 내의 모든 페이지를 크롤링해야 하므로 이 옵션이 선택 취소되어 사용 중지됩니다.

새 크롤러를 만들 때 크롤러에 배정하는 이름이 소스 값을 만드는 데 사용됩니다. 소스 값은 헬프 센터 검색에서 필터로 사용됩니다. 나중에 이름을 변경하려면 언제든지 다른 소스 이름을 편집하거나 배정할 수 있습니다. 웹 크롤러 관리하기를 참조하세요.

크롤러를 구성한 후에 주기적으로 실행되도록 스케줄되어 사이트맵의 페이지를 방문하여 그러한 소스의 콘텐츠를 헬프 센터 검색 색인에 수집합니다. 웹 크롤러는 아코디언 등 UI 요소에 의해 콘텐츠가 숨겨져 있더라도 초기 페이지 로드 시 페이지 소스에 있는 콘텐츠를 인덱싱합니다. 단, 크롤러는 JavaScript를 실행하지 않으므로 JavaScript로 렌더링되는 콘텐츠 또는 초기 페이지 로드 후 동적으로 렌더링되는 기타 콘텐츠를 크롤링하지 않습니다.

웹 크롤러는 방문하는 페이지의 링크를 크롤링하지 않고 사용하도록 구성된 사이트맵의 페이지만 방문합니다. 크롤러가 정기적으로 스케줄된 크롤링 중에 웹사이트에서 정보를 수집하지 못하면(예를 들어 웹사이트 작동이 중단되거나 네트워크 문제가 있는 경우), 헬프 센터는 이전 크롤링의 결과를 유지하며, 헬프 센터에서 계속 검색할 수 있습니다.

웹 크롤러 설정하기

헬프 센터에서 여러 크롤러를 설정하여 같은 웹사이트나 다른 웹사이트의 서로 다른 콘텐츠를 크롤링하고 인덱싱할 수 있습니다. 웹 크롤러를 설정할 때 다음을 고려하세요.
  • 웹 크롤러는 gzip 파일 압축 인코딩을 사용하는 웹사이트에서는 작동하지 않습니다. 그러한 사이트의 검색 결과는 표시되지 않습니다.
  • 외부 사이트 robots.txt 레코드에 크롤링 지연이 설정되어 있으면 웹 크롤러가 이를 지키지 않습니다.
  • changefreq 태그는 웹 크롤러에 어떤 영향도 미치지 않습니다.
참고: 모든 관련 법규 및 관련 웹사이트의 이용 약관을 준수하여 헬프 센터 웹 크롤러를 사용해야 합니다. 그러한 사이트맵과 연결된 도메인을 소유하는 사이트맵만 추가해야 합니다. 헬프 센터 웹 크롤러를 사용하면 크롤러에 추가된 모든 사이트맵에 대한 도메인을 소유하며 그러한 웹사이트를 크롤링할 수 있는 권한이 있음을 확인하는 것입니다.

웹 크롤러를 설정하려면 다음과 같이 하세요.

  1. 지식 관리자의 사이드바에서 설정()을 클릭합니다.
  2. 검색 설정을 클릭합니다.
  3. 크롤러에서 관리를 클릭합니다.

  4. 크롤러 추가를 클릭합니다.

  5. 계속을 클릭합니다.

  6. 웹사이트의 콘텐츠 동기화에서 다음을 입력합니다.
    • 크롤러에 배정하려는 크롤러 이름. 이 이름은 크롤러 관리 목록에서 웹 크롤러를 식별하며 헬프 센터 검색에서 필터로 사용되는 검색 소스 값을 만드는 데 사용됩니다.
    • 크롤링하려는 사이트 또는 페이지의 시작 URL. 다음과 같은 작업을 수행할 수 있습니다.
      • 전체 웹사이트를 크롤링한 다음 기본 도메인(예: zendesk.com) 또는 사이트맵 경로(예: zendesk.com/sitemap.xml)를 입력합니다.
      • 개별 페이지로 크롤링을 제한하여 이 필드에 도메인/페이지 값(예: test.com/faq.htm)을 입력합니다. 다른 항목 추가(+)하기를 클릭하여 최대 5개의 URL을 추가합니다.

        이 옵션을 선택하면 크롤러가 설정 중 지정된 시작 URL만 크롤링하고 색인화합니다.

  7. 동기화를 클릭합니다.
    웹 크롤러가 크롤러 페이지에 추가됩니다. 24시간 내에 크롤러가 지정된 사이트맵을 가져와 구문 분석합니다. 사이트맵 처리가 성공하면 크롤러가 페이지를 크롤링하여 콘텐츠를 색인화하기 시작합니다. 크롤러가 실패하면 크롤러 소유자가 문제 해결에 도움이 되는 팁이 포함된 이메일 알림을 받습니다. 크롤러가 주기적으로 다시 시도합니다.
    참고: Zendesk/External-Content는 웹 크롤러의 사용자 에이전트입니다. 크롤러가 방화벽 차단 요청으로 인해 실패하는 것을 방지하려면 Zendesk/External-Content를 허용 목록에 추가하세요.

웹 크롤러를 설정하여 외부 콘텐츠를 끌어오기 위한 용도가
  • 헬프 센터 검색을 위한 것라면 헬프 센터 검색 결과에 포함 및 제외하려는 콘텐츠를 선택해야 합니다. 헬프 센터 검색 결과에 외부 콘텐츠 포함하기를 참조하세요.
  • 상담사를 위한 컨텍스트 패널의 지식 섹션을 위한 것이라면 컨텍스트 패널에서 지식 구성하기를 참조하세요.
Zendesk 제공