이 문서에서는 자동 답장이나 대화 봇이 콘텐츠 작업을 하여 문서를 추천하거나 문서를 통한 자동 답장 및 지능형 분류에 기반한 자동 답장 등 AI 상담사 기능에서 헬프 센터 콘텐츠를 제시하는 방법에 대한 개괄적인 개요를 제공합니다.
이 문서에서 다루는 주제는 다음과 같습니다.
자연어가 처리되는 방법
봇은 AI를 사용하여 문서를 평가하므로 사람의 행동을 모방할 수 있습니다. 봇은 자연어 처리(NLP) 기술을 활용하여 헬프 센터의 모든 문서를 읽고 각 문서의 주 개념을 이해합니다. 그런 다음 모든 문서의 모든 개념을 가져와 맵에 배치합니다. 각 개념은 맵상에 자체 “주소”를 가지며 비슷한 개념끼리 서로 가까운 공간에 모입니다. 하지만 이 주소는 구/군/시, 도로명 및 건물 번호, 우편번호 대신 500개의 부분으로 구성되어 있습니다. 새 질문을 받을 때마다 봇은 질문의 의도와 개념을 파악하고 맵을 사용하여 가장 근접한 기존 문서를 찾아냅니다.
예를 들어 다음은 몇 가지 질문에서 추출할 수 있는 일부 개념입니다.
| 질문 | 가능한 개념 |
|---|---|
| 티켓을 파일에 갖다 넣으려면 어떻게 해야 하나요? | 데이터 내보내기 |
| 계정이 잠기었습니다. | 계정 액세스/비밀번호 재설정 |
| 학을 만들려면 어떻게 해야 하나요? | 종이학 접기 |
추천할 문서가 선택되는 방법
받은 질문이 기존 문서와 가깝게 일치하면 위에서 설명한 대로 맵에서 “이웃”이 되고 봇이 당연히 문서를 추천해야 합니다. 하지만 가장 가깝게 일치하는 문서가 몇 블록 떨어져 있거나 같은 동네가 아닌 근처 다른 동네에 있다면 개념의 관련성에 대한 확신이 좀 떨어지게 됩니다.
Zendesk의 데이터 과학팀은 “임계값 조절기”를 조정하여 이러한 사항을 자세히 모니터링하며 계속해서 미세 조정해 왔습니다. 이 임계값은 관리자나 상담사가 조정할 수 있는 것이 아니며, Zendesk 개발팀에서만 액세스할 수 있습니다. 임계값 조절기는 글로벌 컨트롤로 모든 계정에 영향을 미치며, 유사한 개념으로 간주되기 위해 두 개념이 개념 맵에 얼마나 근접해 있어야 하는지를 결정하는 데 사용됩니다.
임계값 조절기를 높이면 봇이 더 보수적으로 되어 질문과의 관련성이 높은 문서만 추천하게 되므로 더 적은 수의 문서를 추천하게 됩니다. 하지만 이로써 추천된 문서나 헬프 센터 콘텐츠가 없는 더 많은 질문이 있을 수 있습니다. 임계값 조절기를 낮추면 더 많은 문서가 참조되지만 일부 문서의 경우 최종 사용자의 질문 내용과 관련이 없을 가능성 역시 높아집니다.
일반적인 오해
혼동을 일으킬 수 있는 몇 가지 일반적인 오해가 있습니다. 이 섹션에서는 이러한 오해를 다루며 몇 가지 상황을 명확하게 설명하고자 합니다.
봇이 최종 사용자 피드백을 기반으로 학습하나요? 바로 이런 것이 머신 러닝이 하는 일이 아닌가요?
머신 러닝 모델로 제공되기는 하지만 봇이 끊임없이 학습한다는 뜻은 아닙니다. 봇의 모델은 최종 사용자나 상담사의 피드백을 실시간으로 반영하지 않습니다. 따라서 피드백은 어떤 문서가 추천되는지에 아무런 영향을 미치지 않습니다.
최종 사용자 피드백은 캡처되어 다음과 같은 여러 가지 방법으로 사용됩니다.
- 상담사에게 표시되어 어떤 문서를 보았는지, 어떤 문서가 “유용하지 않음”으로 표시되었는지 또는 어떤 문서가 문제를 해결하는 데 사용되었는지에 대한 추가적인 전후상황을 제공합니다.
- 관리자가 봇의 성과를 추적할 수 있도록 리포팅에 나타납니다.
- Zendesk의 데이터 과학팀에 의해 평가됩니다.
반복적으로 잘못된 문서가 추천된다면 문서의 제목과 처음 75개 단어를 수정하여 주 개념을 좀 더 명확하게 하는 것이 가장 좋습니다. 레이블을 사용하여 가져올 문서 목록을 만들어 특정 문서 하위 집합에 포함된 문서만 추천하도록 할 수도 있습니다.
AI 기반 검색이 키워드 검색보다 항상 더 나은가요?
전반적으로 AI 기반 문서 추천이 키워드 검색보다 더 정확하고 관련성이 높으며, 한 단어 내지 세 단어를 사용하는 대신 전체 문장으로 묻는 질문인 경우에는 특히 더 그렇습니다.
같은 질문과 답변을 계속해서 반복하고, “예” 또는 “아니요”라고 응답하여 문서에 관련성 여부를 표시함으로써 봇을 “훈련”시킬 수 있나요?
아니요. 봇은 상담사나 최종 사용자의 피드백에 상관없이 동일한 문서를 계속 추천합니다. 봇은 시작하기 위해 어떠한 훈련도 필요하지 않도록 특별히 구축되었고, 이미 자연어를 이해하도록 사전 훈련되어 있습니다. 문구나 질문을 테스트하는데 잘못된 문서가 추천된 경우 문서의 제목과 처음 75개 단어를 수정하여 주 개념을 좀 더 명확하게 하는 것이 가장 좋습니다.
문서에 레이블을 추가하면 문서에 키워드를 추가하는 것과 같나요? 이렇게 하면 문서 추천 빈도수를 높일 수 있나요?
레이블은 가져올 승인된 문서의 목록을 만드는 훌륭한 방법입니다. 하지만 레이블은 각 문서에 부여된 가중치에는 영향을 미치지 않습니다. 자동 답장 트리거에서 레이블 사용하기를 참조하세요.
“답변 개선” 버튼을 사용하여 성과를 개선할 수 없다면 어떻게 성과를 개선할 수 있나요?
봇의 성능을 개선하는 가장 좋은 방법은 다음과 같은 사항을 고려하는 것입니다.
- 자동 답장 활동 모니터링: Explore를 사용하여 어느 문서의 성능이 가장 좋고 나쁜지 확인합니다.
- 기존 문서의 구조 고려: 헬프 센터 문서를 살펴보고 콘텐츠가 간결하고 체계적으로 구성되어 있는지 확인합니다. 각 제목은 짧은 문장이나 질문으로 되어 있어야 합니다.
- 콘텐츠 단서 사용: 머신 러닝 기술과 문서 사용도 데이터를 사용하여 지식창고의 상태를 개선할 기회와 작업을 찾습니다.