자동 점수 매기기는 미리 정의된 카테고리에 따라 고객 상호작용을 자동으로 평가하여 일관된 품질 평가를 보장합니다. 주관성을 줄이고 검토자의 시간을 절약하므로 더 주의를 기울여야 하는 카테고리에 집중할 수 있습니다. 자동 점수 매기기를 작동시키려면 Zendesk QA에 상담사를 추가해야 합니다. 자동 QA는 AI Suite 및 Enterprise 플랜에서 사용할 수 있습니다.

참고: Microsoft Azure OpenAI 서비스 사용에 관한 고지 사항을 읽어보세요.

이 문서는 다음의 섹션으로 구성되어 있습니다.

  • 자동 점수 매기기 카테고리 이해하기
  • 자동 점수 매기기 카테고리 설정하기
  • 사용자 지정 자동 QA 카테고리 만들기
  • 대화 보기에서 자동 점수 매기기 사용하기
  • 자동 QA 대시보드 보기
  • 고지 사항

자동 점수 매기기 카테고리 이해하기

Zendesk QA에서 자동으로 점수를 받는 카테고리는 8개입니다.

  • 안내말 - “상담사가 고객에게 인사했나요?”라는 질문에 답변(이진 척도 👍 👎)
  • 공감 - 상담사가 고객과 고객의 문제에 대해 공감했는지 여부 평가(이진 척도 👍 👎)
  • 맞춤법 및 문법 - 문법 오류, 맞춤법 오류, 스타일 오류 감지(사용자 지정 가능 척도)
  • 맺음말 - 상담사가 추가 도움을 제공하고 고객에게 감사를 표하는 것을 포함하여 대화를 제대로 종료했는지 평가(이진 척도 👍 👎)
  • 솔루션 제공됨 - 대화에서 솔루션이 제안되었는지 여부 파악(이진 척도 👍 👎, 확실하지 않은 경우 "해당 사항 없음")
  • 어조 - 27개의 어조를 인식하고 긍정적 또는 부정적 가중치에 따라 점수 계산(사용자 지정 가능 척도)
  • 가독성 - 단어의 복잡성과 문장의 길이를 고려하여 텍스트가 얼마나 쉽게 이해될 수 있는지 분석(고정 3점 척도)
  • 이해도 - 질문을 명확히 하거나 문제를 요약하는 등 상담사가 고객의 문제를 이해했는지 확인(이진 척도 👍 👎)

자동 점수 매기기 카테고리 설정하기

자동 점수 매기기를 설정하려면 다음과 같이 하세요.

  1. 설정 > 사용자 및 워크스페이스로 이동합니다.
  2. 관련 워크스페이스를 선택한 다음 스코어카드를 클릭합니다.
  3. 카테고리를 만들거나 기존 카테고리를 클릭하여 편집합니다.
    새 카테고리 생성에 대한 자세한 내용은 스코어카드 설정하기를 참조하세요.
  4. 카테고리에 자동 QA 사용을 토글하여 자동 점수 사용을 시작합니다.
  5. 미리 채워진 목록에서 자동 QA 카테고리를 선택합니다.
    카테고리의 기본 이름과 설명이 채워지며 필요에 맞게 조정할 수 있습니다.
    자동 점수 매기기 카테고리 설정하기
  6. 카테고리 만들기를 클릭합니다.

사용자 지정 자동 QA 카테고리 만들기

자기만의 자동 QA 카테고리를 만들 수도 있습니다.
대화에서 특정 키워드나 문구를 찾도록 사용자 지정 자동 QA 카테고리를 만들어서 상담사를 자동으로 평가합니다. 상담사가 데모를 제공하지 않아 텍스트에 “데모 일정을 잡겠습니다”가 포함되지 않는 경우를 예로 들 수 있습니다. 이 카테고리에 해당 상담사는 👎를 받습니다.

참고: 현재는 음성 대화 내용이 아닌 상담사 메시지만 분석하여 일치하는 텍스트를 찾습니다.

사용자 지정 자동 QA 카테고리는 계정 수준에서 만들어지고 워크스페이스 수준의 스코어카드에 적용됩니다.

계정당 최대 10개의 사용자 지정 카테고리를 만들 수 있습니다.

새 카테고리가 추가되면 새로 들어오는 종료된 대화만 카테고리 조건(기존 조건 제외)에 따라 자동으로 분석되고 평가됩니다. 대시보드 및 대화의 기록 데이터는 그대로 유지됩니다.

기존 자동 QA 카테고리와 마찬가지로 일치 항목을 찾지 못하면 N/A가 배정됩니다.

대화 보기에서 자동 점수 매기기 사용하기

대화 보기(사이드바의 아이콘을 통해 액세스)에서 자동 점수 매기기 카테고리가 있는 것으로 식별된 대화는 자동 품질 점수 계산(AQS)과 비슷한 홀로그램 아이콘으로 표시됩니다. 쉽게 비교할 수 있도록 AQS가 내부 품질 점수와 함께 검토 탭에 표시됩니다. 자동 품질 점수는 일부 카테고리가 수동 QA 스코어카드에 추가되지 않더라도, 스코어카드 설정에 활성화된 모든 자동 QA 카테고리를 고려합니다.

대화 보기의 자동 점수 매기기

자동 점수는 상담사마다 다를 수 있습니다. 검토자가 자동 점수에 동의하지 않는 경우 다른 평점을 클릭하여 검토를 제출할 수 있습니다.

검토 제출하기

검토자는 대화의 어느 부분을 채점했는지 강조 표시할 수 있습니다. 검토자가 검토를 제출하면 자동 점수가 계산되며 그 결과는 자동 QA 대시보드에만 표시됩니다.

채점 부분 강조 표시하기

Zendesk QA에서 자동으로 오류(예: 문법)를 찾은 대화를 검토자가 찾아야 하는 경우, 대화 보기 필터를 사용할 수 있습니다. 자세한 내용은 대화 필터링하기를 참조하세요.

필터 사용하기
자동 QA 카테고리를 사용하여 대화를 필터링할 수도 있습니다. 모든 자동 QA 및 사용자 지정 자동 QA 카테고리는 별도의 항목으로 표시됩니다.

자동 QA 대시보드 보기

자동 QA 대시보드는 자동 검토된 대화 관련 정보를 제공합니다.

고지 사항

자동 QA 점수 매기기는 기능을 사용 설정한 후 가져온 새로운(채점 가능) 종료 대화에 대한 결과를 표시합니다. 필요한 계산이 수행되어 점수가 로드되는 데 시간이 걸릴 수 있습니다.

  • 자동 QA는 Microsoft Azure OpenAI Service를 사용하여 일부 카테고리에 자동으로 점수를 매깁니다. 데이터는 엄격한 DPA(Data Processing Agreement)에 따라 자동 QA를 제공하기 위한 목적으로만 처리되며 OpenAI 모델을 훈련시키는 데 사용되지 않습니다.
  • Microsoft Azure OpenAI Service는 더 폭넓은 자동 QA 카테고리, 즉시 사용 가능한 다국어 지원, 신속한 새 카테고리 추가, 평가 정확도 개선을 제공합니다. GPT-3.5는 인간 수준의 맥락 인식을 보이며, 가장 발전된 AI 기술을 활용합니다.

설정 > 계정 > 일반으로 이동하여 MS Azure OpenAI 처리를 옵트아웃할 수 있습니다.

Azure OpenAI 처리

자동 QA 자동 점수 매기기에 대한 일반적인 질문은 이 문서를 참조하세요.

참고: Azure OpenAI 처리를 옵트아웃하면 영어(미국 및 영국), 프랑스어, 독일어, 폴란드어에만 자동 QA 문법을 사용할 수 있습니다.
Zendesk 제공