자동 QA 대시보드는 모든 자동 QA 카테고리에서 팀의 성과를 추적합니다. 시간 경과에 따른 품질 성과와 상담사 점수를 모니터링하여 상담사와 카테고리별 내역을 제공합니다. 이 대시보드는 트렌드를 모니터링하고 팀의 교육 요구 사항을 파악하는 데 유용합니다.
수동으로 제출한 점수가 상담사의 내부 품질 점수(IQS)에 기여하는 반면 자동 검토는 자동 품질 점수(AQS)를 사용하여 추적됩니다.
이 문서에서는 다음과 같은 주제를 다룹니다.
관련 문서:
자동 QA 대시보드에 액세스하기
자동 QA 대시보드는 모든 자동 QA 카테고리에서 팀의 성과를 추적합니다.
자동 QA 대시보드에 액세스하려면 다음과 같이 하세요.
- 품질 보증의 사이드바에서
대시보드를 클릭합니다. - 대시보드 목록에서 자동 QA를 선택합니다.
주요 자동 QA 대시보드 카드 이해하기(예 포함)
다음 품질 지표는 자동 QA 대시보드에 표시되는 표준 카드를 나타냅니다.
위의 스크린샷의 값을 예로 사용하여 아래 표에서 주요 대시보드 카드의 메트릭을 이해하세요.
| 메트릭 | 설명 | 예(위의 스크린샷 사용) |
| 자동 검토된 대화 | 사람의 개입 없이 하나 이상의 카테고리에 자동으로 점수가 매겨진 대화 수입니다. | 위의 스크린샷을 예로 들면 최소 한 번의 자동 검토를 받았지만 수동 검토를 받지 않은 대화가 404건 있습니다. |
| 수동으로 검토한 대화 | 사람이 수동으로 검토한 대화 수입니다. 참고: 이 값은 날짜 필터를 기준으로 하며 검토 대시보드에서 보고된 검토 날짜와 다를 수 있습니다. 종료 또는 해결 상태의 기존 대화가 업데이트되는 등 다양한 상황에서 자동 QA가 트리거될 수 있습니다. |
위의 스크린샷에서는 173건의 대화가 수동으로 검토되었습니다. 이 카드에서 계산된 대화에는 최소 하나의 수동 검토가 포함되어 있으므로 자동 검토된 대화와 수동 검토를 받은 대화 간에 겹치는 부분이 있을 수도 있습니다. |
| 효율성 향상 | 수동 검토와 비교하여 자동 QA가 다룰 수 있는 티켓의 수 비율은 다음과 같이 계산됩니다.
|
위의 예에서 효율성 향상은 다음과 같이 계산됩니다.
이는 모든 수동 검토에 대해 자동 검토를 통해 2.34건의 대화에 상응하는 향상 효과를 누린다는 것을 나타냅니다. |
| 검토 대상자당 자동 검토된 대화 | 자동 QA가 각 검토 대상자에 대해 수행한 평균 검토 수로 자동 QA가 피드백을 제공하는 데 어떻게 도움이 되는지 설명합니다. | 위의 스크린샷에서
이 수치는 워크스페이스의 총 사용자 수가 아니라 자동 검토를 받은 사용자 수를 나타냅니다. 이 메트릭의 분자에는 자동 검토를 받은 대화와 수동 검토를 받은 대화 둘 다가 포함됩니다. 이 메트릭은 검토 대상자당 자동 검토 적용 범위를 평가하므로 자동 검토를 받은 모든 대화가 고려됩니다. |
| 검토 대상자당 수동으로 검토된 대화 | 각 검토 대상자에게 제공된 평균 수동 검토 수입니다. | 위의 스크린샷을 예로 들어 계산하면 다음과 같습니다.
이 수치는 워크스페이스의 총 사용자 수가 아니라 수동 검토를 받은 사용자 수를 나타냅니다. |
| 정확도 점수(수락률 대체) |
정확도 점수는 자동 QA에서 생성된 평점과 실제 검토자가 제공한 평점 간의 일관성과 일치 수준을 측정합니다. 게이지 차트는 선택한 기간과 필터 옵션에 대한 평균 정확도 점수를 표시합니다. 점수가 75% 이상이면 일치 수준이 높다는 의미이며, 자동 QA의 효율성을 입증하는 것입니다. |
|
| 정확도 수준별 평점(새 기능) |
정확도 수준별 평점 가로 막대 차트는 선택한 기간과 필터 옵션에 대한 정확도 수준별로 그룹화된 자동 QA 평점의 상대적 비율을 표시합니다. 정확도 메트릭은 0%~100%의 점수를 생성하며, 0%는 자동 QA와 실제 검토자 간의 완전한 불일치를, 100%는 완전한 일치를 나타냅니다.
|
|
| 수정된 자동 QA 대화 | 하나 이상의 카테고리에서 사람이 자동 QA 점수를 변경한 대화 수입니다. | 자동 QA와 여러 카테고리에서 이견이 있었으므로 이러한 카테고리는 위의 대시보드 스크린샷에 표시된 79건의 수정된 자동 QA 대화에 포함될 것입니다. |
| AQS | 자동 QA에서 평가한 모든 대화의 평균 자동 품질 점수입니다. |
추가적인 자동 QA 대시보드 카드 이해하기
아래 표를 통해 추가적인 자동 QA 카드에 대한 메트릭을 이해하세요.
| 메트릭 | 설명 |
| 시간 경과에 따른 AQS | 선택한 기간 동안의 자동 품질 점수의 차이입니다. 이 메트릭은 성과가 하락하는 것을 신속하게 파악하여 문제를 신속하게 해결하는 데 도움이 됩니다. |
| 인기 언어에 대한 분류 | 이 메트릭은 대화 언어 수와 비율을 제공하여 어디에 지원 노력을 투자할지 파악하는 데 도움이 됩니다. 예를 들어 특정 언어의 건수가 증가하는 경우 해당 언어를 지식창고에 포함시키는 것이 도움이 될 수 있습니다. |
| 카테고리 인사이트 | 카테고리별 자동 QA 점수 내역입니다. |
| 사용자 지정 카테고리 인사이트 | 사용자 지정 자동 QA 카테고리별 자동 QA 점수 내역입니다. |
| 시간 경과에 따른 카테고리 점수 | 선택한 기간 동안 카테고리 점수의 변화를 보여주는 선 그래프입니다. |
| 카테고리별 자동 QA 대화 |
이 메트릭은 자동 QA 평점을 받은 대화 수를 나타냅니다. 새 카테고리가 추가되면 종료 또는 해결 상태의 새 수신 대화만 카테고리 조건에 따라 자동으로 분석되고 평가됩니다. 상담사와 고객 둘 다 최소 한 번 이상 공개 답장을 보내 종료된 대화입니다. 카테고리가 추가된 후 업데이트를 받는 종료 또는 해결 상태의 기존 대화 역시 자동으로 분석되고 평가됩니다. 그 결과, 이미 분석되고 평가된 대화가 새 워크스페이스에서 다시 분석되고 평가되는 것을 볼 수도 있습니다. |
| 검토 대상자당 카테고리 점수 | 이 메트릭은 보관된 카테고리와 삭제된 카테고리를 포함하여 선택한 기간 동안 특정 자동 카테고리에 대해 자동으로 계산된 평균 점수와 검토 대상자에 대한 정보를 제공합니다. 그러한 영역에서 성과가 저조한 상담사를 신속하게 파악하여 누구에게 교육이 필요한지 확인하는 데 도움이 됩니다. 또한 각 상담사에 대해 관련 대화를 검토할 수 있는 참조도 제공합니다. |
| 검토 대상자별 맞춤법 및 문법 오류의 근본 원인 | 자동 QA의 맞춤법 및 문법 카테고리에서 식별된 자동 QA 평가 근본 원인 및 검토 대상자에 대한 정보입니다. |
| 검토 대상자별 어조 실수의 근본 원인 | 이 메트릭은 자동 QA의 어조 카테고리에서 식별된 어조 실수의 근본 원인 및 검토 대상자에 대한 정보를 제공합니다. |
| 검토 대상자별 반복되는 맞춤법 및 문법 오류 | 이 메트릭은 검토 대상자 및 빈도별로 분류된 반복되는 오류를 나열합니다. |
| 마지막 데이터 업데이트 시간(UTC) | 마지막 대시보드 업데이트의 날짜 및 타임스탬프입니다. 자동 QA 대시보드는 매시간 자동으로 업데이트됩니다. |
자동 QA 대시보드 데이터 심층 분석하기
다음 데이터 포인트를 심층 분석할 수 있습니다.
- 대화
- 카테고리
- 근본 원인
추가적인 데이터 포인트에 액세스하려면 다음과 같이 하세요.
- 품질 보증의 사이드바에서 대시보드를 클릭한 다음 자동 QA를 선택합니다.
- 카테고리, 근본 원인 또는 대화 값을 클릭하여 관련 대화 목록에 액세스합니다. 또는 대화 그래프의 선을 클릭하고 드롭다운 메뉴에서 대화 심층 분석을 선택합니다.
- 추가 데이터 포인트를 살펴보거나 아무 대화 링크를 클릭하여 엽니다.
