검색 크롤러 문제 해결하기

Suite Enterprise 플랜 이상에서 사용 가능

Guide Enterprise 플랜에서 사용 가능

Zendesk 연계 검색을 사용하면 최종 사용자들이 헬프 센터 검색 결과에서 외부 지식창고, 학습 관리 소프트웨어, 블로그, 웹사이트의 페이지 등 헬프 센터 외부에 있는 콘텐츠를 볼 수 있습니다. Zendesk 연계 검색 API나 검색 크롤러를 사용하여 연계 검색을 구현할 수 있습니다.

검색 크롤러는 헬프 센터의 검색 설정에서 사용할 수 있으며 개발자 리소스 없이도 헬프 센터에서 연계 검색을 구현할 수 있게 해줍니다(검색 크롤러 설정하기 참조). 이 문서를 사용하여 애플리케이션에서 검색 크롤러를 설정하는 동안 발생할 수 있는 크롤러 설정 및 페이지 오류 문제를 해결할 수 있습니다.

이 문서에서는 다음과 같은 주제를 다룹니다.

크롤러 설정 오류
레코드 오류

크롤러 설정 오류

도메인 소유권 확인이나 사이트맵 처리의 오류로 인해 검색 크롤러를 성공적으로 실행할 수 없을 때 크롤러 설정 오류가 생성됩니다. 크롤러 설정 오류는 검색 크롤러 설정 동안 구성된 크롤러 소유자에게 보내는 이메일 알림을 생성합니다.

도메인 소유권을 확인할 수 없음

검색 크롤러는 실행될 때마다 도메인 소유권 확인을 시도하며 최대 24시간이 소요될 수 있습니다. 도메인 확인에 실패하면 크롤러 소유자에게 이메일로 알림이 전송되지만 검색 크롤러 편집 페이지에서 바로 확인을 테스트할 수 있습니다. 검색 크롤러 관리하기를 참조하세요.

도메인 확인 오류를 해결하려면 다음을 확인하세요.

웹사이트의 홈페이지(인덱스나 루트 페이지라고도 함)가 실행 중이고 일반에게 공개되어 있는지 여부. 페이지에 사용자 로그인, 비밀번호, IP 제한, 또는 기타 인증 요건이 없어야 합니다.
크롤러에서 올바른 태그를 구현했는지 여부. 오타가 없고 크롤링하려는 웹사이트 홈페이지의 <head> 섹션에 구현되어야 합니다. 크롤러가 페이지 하위 집합을 크롤링하도록 구성된 경우에도 도메인 확인 태그를 항상 사이트의 홈페이지에 배치해야 합니다. 크롤러를 편집하여 현재 도메인 확인 정보를 볼 수 있습니다. 검색 크롤러 관리하기를 참조하세요.
참고: 동일한 도메인의 서로 다른 크롤러에 대해 여러 개의 확인 태그를 가질 수 있습니다.

예

다음 예는 사이트에서 도메인 확인 태그의 올바른 구현을 보여줍니다.

<html>
<head>
 <meta name="zd-site-verification" content="crawler-verification-token">
 <title>Title</title>
<style>
 <!-- style info here -->
 </style>
 </head>
 <body>
 <!-- body of the page here -->
 </body>
</html>

사이트맵을 처리할 수 없음

검색 크롤러는 실행될 때마다 크롤러 설정에서 정의된 사이트맵을 사용합니다. 사이트맵을 처리할 수 없는 경우에는 크롤러 소유자가 이메일 알림을 받고 크롤러가 실행되지 않습니다. 그러한 일이 발생하면 다음을 확인하세요.

검색 크롤러가 올바른 사이트맵 URL을 가리키고 있으며 성공적으로 찾을 수 있습니다. 크롤러를 편집하여 현재 사이트맵 URL을 볼 수 있습니다. 검색 크롤러 관리하기를 참조하세요.
사이트맵이 제공되고 공개적으로 사용할 수 있습니다. 페이지가 사용자 로그인, 비밀번호, IP 제한, 또는 기타 인증에 의해 제한되어서는 안 됩니다.
사이트맵은 사이트맵 XML 프로토콜을 따르는 XML URL 사이트맵입니다.

레코드 오류

설정 오류는 없지만 검색 크롤러가 크롤러 사이트맵에 정의된 페이지를 성공적으로 스크랩하여 인덱싱할 수 없을 때 레코드 오류가 발생합니다(검색 크롤러 설정하기 참조). 레코드 오류가 발생하면 영향을 받는 페이지 및 관련 오류를 나열하는 CSV 파일의 링크가 포함된 이메일 알림이 크롤러 소유자에게 전송됩니다.

로캘이 감지되지 않음

"로캘이 감지되지 않음" 오류는 검색 크롤러가 로캘을 감지할 수 없거나 감지된 로캘이 현재 도움말 센터 로캘과 일치하지 않음을 나타냅니다.

레코드의 로캘을 판별하기 위해 크롤러는 다음과 같은 접근 방식을 시도합니다. 첫 번째 성공적인 전략은 레코드의 로캘을 결정합니다.

<html> 태그의 lang 속성에서 로캘 추출
Content-Language 헤더에서 로캘 추출
<meta> 태그에서 로캘 추출
콘텐츠의 텍스트 분석 수행(CLD - Compact Language Detection)

"로캘이 감지되지 않음" 오류는 다음과 같은 문제 중 하나가 원인일 수 있습니다.

식별된 로캘이나 언어가 계정의 헬프 센터에 구성된 로캘이나 언어와 일치하지 않습니다. 계정의 각 헬프 센터에 어떤 언어가 구성되어 있는지 보려면 다국어를 지원하도록 헬프 센터 구성하기를 참조하세요. 제품별 Zendesk 언어 지원에서 구성된 언어에 대한 로캘 코드를 찾으세요.
검색 크롤러가 로캘이나 언어를 판별할 수 없습니다.

이 문제를 해결하려면 다음을 확인하세요.

html 태그의 lang 속성이 헬프 센터의 로캘과 일치합니다.
HTTP Content-Language 헤더가 헬프 센터의 로캘과 일치합니다.
http-equiv 속성에 Content-Language가 설정된 메타 요소가 헬프 센터의 로캘과 일치합니다.

검색 크롤러 로캘 이해하기를 참조하세요.

제목이 감지되지 않음

"제목이 감지되지 않음" 오류는 검색 크롤러가 레코드의 제목을 감지할 수 없음을 나타냅니다. 레코드의 제목을 판별하기 위해 검색 크롤러는 다음과 같은 접근 방식을 시도합니다.

<title> 태그의 콘텐츠 추출
<h1> 태그의 콘텐츠 추출
<body> 태그의 텍스트 콘텐츠 추출

첫 번째 성공적인 전략은 레코드의 로캘을 결정합니다. 처음 두 가지 접근 방식 중 하나가 성공하면 크롤러는 추출된 콘텐츠의 처음 255자를 레코드 제목으로 인덱싱합니다. 이러한 전략으로 제목을 판별하지 못하면 레코드가 인덱싱되지 않습니다.

이 문제를 해결하려면 영향을 받는 페이지에 위에 나열된 태그 중 하나가 있는지 확인하세요.

본문을 찾을 수 없음

"본문을 찾을 수 없음" 오류는 검색 크롤러가 페이지의 본문을 감지할 수 없음을 나타냅니다. 이 오류를 해결하려면 영향을 받는 페이지가 <body> 태그로 올바르게 표시되었는지 확인하세요.

HTTP [상태 코드]

레코드의 CSV에 있는 오류 코드 필드에 HTTP와 상태 코드가 포함되어 있으면 페이지에 액세스할 수 없어 페이지를 인덱싱할 수 없음을 의미합니다. 페이지를 인덱싱할 수 있으면(HTTP 2xx) HTTP 상태 코드 오류를 수신하지 않습니다.

가장 일반적인 오류 코드는 다음과 같습니다.

404 - 페이지를 찾을 수 없음 - 페이지가 존재하지 않거나 다른 URL로 옮겨졌습니다. 이 문제를 해결하려면 크롤러가 사용하는 사이트맵이 최신 버전이며 사이트맵에 있는 모든 URL이 존재하는 페이지를 가리키는지 확인하세요.
403 - 사용 권한 없음 - 인증되지 않은 로그인 또는 IP 주소 제한 등 일부 액세스 제어 메커니즘으로 인해 크롤러가 페이지에 액세스할 수 없습니다. 이 문제를 해결하려면 다음을 확인하세요.
- 검색 크롤러 사용자 에이전트인 Zendesk/External-Content를 허용 목록에 추가했습니다.
- 크롤러는 액세스가 제한된 페이지를 크롤링할 수 없으므로 인덱싱하려는 페이지는 공개적으로 액세스할 수 있습니다. 크롤링하고 인덱싱하려는 페이지를 공개적으로 액세스할 수 없는 경우에는 연계 검색(외부 콘텐츠) API를 사용하여 인덱싱하는 방법을 살펴봐야 합니다. Zendesk 연계 검색 API 설정하기를 참조하세요.
5xx - 서버 오류 - 서버 오류로 인해 페이지를 크롤링할 수 없습니다. 사이트를 일시적으로 사용하지 못할 수 있습니다. 이 문제를 해결하려면 이 오류가 있는 하나 이상의 페이지로 가서 사이트가 작동 중인지 확인하세요. 사이트가 작동 중단 상태이면 사이트 관리자에게 문의하세요. 오류가 수정되면 크롤러가 정해진 기간(12~24시간) 내에 다시 실행될 때까지 기다리세요.

잘못된 URL 도메인

"잘못된 URL 도메인" 오류는 사이트맵에 나열된 페이지의 URL이 크롤러 설정 중 구성한 도메인에 없음을 나타냅니다.

이 문제를 해결하려면 오류를 유발한 페이지의 도메인이 검색 크롤러에 대해 정의된 것과 동일한 도메인에 있는지 확인하세요. 사이트맵에서 연결된 페이지가 크롤러 설정 중 구성된 것과 다른 도메인에서 호스팅된 페이지를 가리키는 경우에는 다음 중 하나를 수행할 수 있습니다.

영향을 받는 페이지에 새 검색 크롤러 설정

외부 도메인의 페이지를 검색 크롤러에 대해 구성된 도메인으로 이동

결정되지 않음

"결정되지 않음" 오류는 다음 중 하나 이상으로 인해 발생할 수 있습니다.

인스턴스의 외부 레코드 한도를 초과함 - 검색 크롤러에는 50,000개의 외부 레코드 한도가 있습니다. 50,000개의 외부 레코드 한도를 초과한 경우에는 초과한 최신 외부 레코드는 인덱싱되거나 업데이트되지 않습니다. 크롤러가 사용한 외부 레코드 수를 보려면 검색 크롤러 정보를 살펴보세요. 검색 크롤러 관리하기를 참조하세요. 이 문제를 해결하려면 다음 중 하나 이상을 수행할 수 있습니다.
- 일부 크롤러를 삭제하면 그러한 페이지의 외부 레코드가 인스턴스에서 삭제되고 한도 초과로 인해 이전에 인덱싱되지 않은 페이지가 인덱싱될 수 있습니다. 검색 크롤러 관리하기를 참조하세요.
- 연계 검색 API를 통해 개별 레코드를 삭제합니다. 단, 이 페이지를 인덱싱하는 크롤러가 아직 활성 상태이거나 이 페이지를 추가하는 사용자 지정 API 연동 서비스가 활성 상태이면 다음에 크롤러가 실행되거나 연동 서비스가 동기화될 때 페이지가 다시 나타납니다.
- 하나 이상의 크롤러가 사용 중인 페이지를 사이트맵에서 제거합니다. 다음에 크롤러가 실행될 때 나머지 페이지를 다시 인덱싱하고 제거된 페이지를 사이트맵에서 삭제합니다.
- 하나 이상의 크롤러가 더 적은 수의 페이지가 있는 사이트맵을 가리키도록 합니다. 다음에 크롤러가 실행될 때 나머지 페이지를 다시 인덱싱하고 제거된 페이지를 사이트맵에서 삭제합니다.
페이지가 JavaScript 위치 리디렉션을 사용 - 검색 크롤러는 JavaScript 위치 리디렉션을 따르지 않습니다. 페이지가 JavaScript 위치 리디렉션을 사용하는 경우에는 크롤러가 페이지의 콘텐츠에 연결할 수 없습니다.
이 문제를 해결하려면 다음 중 하나를 수행하세요.
- 사이트맵이 인덱싱하려는 페이지를 직접 가리키는지 확인합니다.
- HTTP 리디렉션을 구현합니다.