사용 중인 플랜
Suite, 모든 버전 Enterprise 또는 Enterprise Plus
Support(다음 포함) Guide Enterprise

웹 크롤러를 사용하여 헬프 센터 검색 및 생성형 검색에서 사용할 외부 콘텐츠를 크롤링하고 인덱싱할 수 있습니다. 웹 크롤러로 개발자 리소스 없이 연계 검색을 구현할 수 있습니다. 여러 크롤러를 설정하여 같은 웹사이트나 다른 웹사이트의 서로 다른 콘텐츠를 크롤링하고 인덱싱할 수 있습니다.

사용자가 헬프 센터에서 검색을 수행할 때 크롤러가 발견하는 관련 외부 콘텐츠에 순위가 매겨져 검색 결과 페이지에 제시됩니다. 여기에서 사용자는 결과를 필터링하고 링크를 클릭하여 다른 브라우저 탭에서 외부 콘텐츠 링크를 볼 수 있습니다.

이 문서에서 다루는 주제는 다음과 같습니다.
  • 웹 크롤러에 대한 정보
  • 웹 크롤러 설정하기

웹 크롤러에 대한 정보

하나 이상의 웹 크롤러를 설정하여 헬프 센터 검색 및 생성형 검색에 사용할 수 있도록 동일하거나 다른 웹사이트의 외부 콘텐츠를 크롤링하고 인덱싱할 수 있습니다. 크롤링하려는 외부 사이트에 웹 크롤러를 위한 페이지를 나열하는 사이트맵이 있어야 합니다. 또한 크롤링하려는 페이지가 인증되지 않는 공개 페이지여야 합니다.

크롤러가 구성되면 30분마다 한 번씩 실행되도록 스케줄되어 설정 중 지정한 사이트맵의 페이지를 방문하여 그러한 소스의 콘텐츠를 헬프 센터 검색 인덱스에 수집합니다. 웹 크롤러는 아코디언 등 UI 요소에 의해 콘텐츠가 숨겨져 있더라도 초기 페이지 로드 시 페이지 소스에 있는 콘텐츠를 인덱싱합니다. 단, 크롤러는 JavaScript를 실행하지 않으므로 JavaScript로 렌더링되는 콘텐츠 또는 초기 페이지 로드 후 동적으로 렌더링되는 기타 콘텐츠를 크롤링하지 않습니다.

또한 웹 크롤러는 방문하는 페이지의 링크를 크롤링하지 않고 사용하도록 구성된 사이트맵의 페이지만 방문합니다. 크롤러가 정기적으로 스케줄된 크롤링 중에 웹사이트에서 정보를 수집하지 못하면(예를 들어 웹사이트 작동이 중단되거나 네트워크 문제가 있는 경우), 헬프 센터는 이전 크롤링의 결과를 유지하며, 헬프 센터에서 계속 검색할 수 있습니다.

웹 크롤러 설정하기

웹 크롤러로 개발자 리소스 없이 헬프 센터에서 연계 검색을 구현할 수 있습니다. 헬프 센터에서 여러 크롤러를 설정하여 같은 웹사이트나 다른 웹사이트의 서로 다른 콘텐츠를 크롤링하고 인덱싱할 수 있습니다.

웹 크롤러를 설정할 때 다음을 고려하세요.
  • 웹 크롤러는 gzip 파일 압축 인코딩을 사용하는 웹사이트에서는 작동하지 않습니다. 그러한 사이트의 검색 결과는 표시되지 않습니다.
  • 외부 사이트 robots.txt 레코드에 크롤링 지연이 설정되어 있으면 웹 크롤러가 이를 지키지 않습니다.
  • changefreq 태그는 웹 크롤러에 어떤 영향도 미치지 않습니다.
참고: 모든 관련 법규 및 관련 웹사이트의 이용 약관을 준수하여 헬프 센터 웹 크롤러를 사용해야 합니다. 그러한 사이트맵과 연결된 도메인을 소유하는 사이트맵만 추가해야 합니다. 헬프 센터 웹 크롤러를 사용하면 크롤러에 추가된 모든 사이트맵에 대한 도메인을 소유하며 그러한 웹사이트를 크롤링할 수 있는 권한이 있음을 확인하는 것입니다.

웹 크롤러를 설정하려면 다음과 같이 하세요.

  1. 지식 관리자의 사이드바에서 설정()을 클릭합니다.
  2. 검색 설정을 클릭합니다.
  3. 크롤러에서 관리를 클릭합니다.

  4. 크롤러 추가를 클릭합니다.

  5. 이 크롤러 이름 지정에서 다음을 입력합니다.
    • 크롤러에 배정하려는 이름: 크롤러 관리 목록에서 웹 크롤러를 식별하는 내부 이름입니다.
    • 크롤러 유지 관리 및 문제 해결을 담당하는 지식 관리자인 소유자: 기본적으로 크롤러를 만드는 사용자가 크롤러 소유자입니다. 하지만 이 이름을 지식 관리자로 변경할 수 있습니다.

      크롤러 소유자는 크롤러가 성공적으로 실행되었을 때와 도메인 확인, 사이트 맵 처리 또는 페이지 크롤링 문제 등 오류 알림이 있는 경우 모두 이메일 알림을 받습니다.

  6. 크롤링하려는 웹사이트 추가에서 다음을 구성합니다.
    • 웹사이트 URL - 크롤링하려는 웹사이트의 URL을 입력합니다.
    • 이 웹사이트를 크롤링할 수 있는 권한이 있음을 확인합니다 - 이 확인란 아래의 정보를 읽은 다음 이 웹사이트를 크롤링할 수 있는 권한이 있음을 확인한다고 선택합니다.

  7. 사이트맵 추가에서 사이트맵 URL에 크롤러가 사이트를 크롤링할 때 사용할 사이트맵의 URL을 입력합니다.

    사이트맵은 사이트맵 XML 프로토콜을 따라야 하며 크롤링하려는 사이트 내의 모든 페이지 목록을 포함해야 합니다. 사이트맵은 사이트의 모든 페이지를 포함하는 표준 사이트맵이거나 크롤링하려는 페이지를 나열하는 전용 사이트맵일 수 있습니다. 모든 사이트맵은 크롤러가 크롤링하도록 구성되어 있는 도메인에 호스팅되어야 합니다. 웹 크롤러는 사이트맵 색인을 지원하지 않습니다.

    웹 크롤러가 크롤링할 페이지를 정의하는 서로 다른 사이트맵을 각각 사용하는 동일한 사이트에 여러 크롤러를 설정할 수 있습니다.

  8. 사람들이 이 콘텐츠를 쉽게 찾을 수 있도록 필터를 추가하세요에서 최종 사용자별로 검색 결과를 필터링하는 데 사용되는 소스 및 유형 필터를 구성합니다. 소스는 포럼, 문제 추적, 학습 관리 시스템 등 외부 콘텐츠의 출처를 나타냅니다. 유형은 블로그 게시물, 기술 노트, 버그 리포트 등 콘텐츠의 종류를 나타냅니다.
    • 소스 - 화살표를 클릭하고 목록에서 소스를 선택하거나 + 새 소스 만들기를 선택하여 이 콘텐츠가 있는 곳을 설명하는 이름을 추가합니다.
    • 유형 - 화살표를 클릭하고 목록에서 유형을 선택하거나 + 새 유형 만들기를 선택하여 이 콘텐츠의 종류를 설명하는 이름을 추가합니다.

  9. 마침을 클릭합니다.
    웹 크롤러가 만들어졌고 보류 상태입니다. 24시간 내에 크롤러가 도메인의 소유권을 확인한 다음 지정된 사이트맵을 가져와 구문 분석합니다. 사이트맵 처리가 성공한 후에는 크롤로가 페이지를 크롤링하여 콘텐츠를 인덱싱하기 시작합니다. 크롤러가 도메인 확인 중이나 사이트맵을 처리하는 동안 실패하면 크롤러 소유자가 문제 해결에 도움이 되는 팁이 포함된 이메일 알림을 받습니다. 크롤러가 24시간 후에 다시 시도합니다.
    참고: Zendesk/External-Content는 웹 크롤러의 사용자 에이전트입니다. 크롤러가 방화벽 차단 요청으로 인해 실패하는 것을 방지하려면 Zendesk/External-Content를 허용 목록에 추가하세요.
웹 크롤러를 설정하여 외부 콘텐츠를 끌어오기 위한 용도가
  • 헬프 센터 검색을 위한 것라면 헬프 센터 검색 결과에 포함 및 제외하려는 콘텐츠를 선택해야 합니다. 헬프 센터 검색 결과에 외부 콘텐츠 포함하기를 참조하세요.
  • 상담사를 위한 컨텍스트 패널의 지식 섹션을 위한 것이라면 컨텍스트 패널에서 지식 구성하기를 참조하세요.
Zendesk 제공