이 문서에서는 Answer Bot 작동 방식에 대한 개괄적인 개요를 제공합니다. 이 문서에서는 다음과 같은 주제를 다룹니다.
Answer Bot이 자연어를 처리하는 방식
Answer Bot은 인공지능으로 제공되므로 사람의 행동 양식을 모방할 수 있습니다. Answer Bot은 자연어 처리(NLP) 기술을 활용하여 헬프 센터의 모든 문서를 읽고 각 문서의 주 개념을 이해합니다. 그런 다음 모든 문서의 모든 개념을 가져와 맵에 배치합니다. 각 개념은 맵상에 자체 “주소”를 가지며 비슷한 개념끼리 서로 가까운 공간에 모입니다. 하지만 이 주소는 구/군/시, 도로명 및 건물 번호, 우편번호 대신 500개의 부분으로 구성되어 있습니다. 새 질문을 받을 때마다 Answer Bot은 질문의 의도와 개념을 파악하고 맵을 사용하여 가장 근접한 기존 문서를 찾아냅니다.
예를 들어 다음은 Answer Bot이 몇 가지 질문에서 추출할 수 있는 일부 개념입니다.
| 질문 | 가능한 개념 |
|---|---|
| 티켓을 파일에 갖다 넣으려면 어떻게 해야 하나요? | 데이터 내보내기 |
| 계정이 잠기었습니다. | 계정 액세스/비밀번호 재설정 |
| 학을 만들려면 어떻게 해야 하나요? | 종이학 접기 |
Answer Bot 문서 추천 기능이 추천할 문서를 결정하는 방식
받은 질문이 기존 문서와 가깝게 일치하면 위에서 설명한 대로 맵에서 “이웃”이 되고 Answer Bot이 당연히 문서를 추천해야 합니다. 하지만 가장 가깝게 일치하는 문서가 몇 블록 떨어져 있거나 같은 동네가 아닌 근처 다른 동네에 있다면 개념의 관련성에 대한 확신이 좀 떨어지게 됩니다.
Zendesk의 데이터 과학팀은 Answer Bot의 성능을 자세히 모니터링하며 “임계값 조절기”를 조정하여 이러한 사항을 계속해서 미세 조정해 왔습니다. 이 임계값은 관리자나 상담원이 조정할 수 있는 것이 아니며, Zendesk 개발팀에서만 액세스할 수 있습니다. 임계값 조절기는 전체 제어장치로서 모든 Answer Bot 계정에 영향을 미치며, 두 개념이 유사한 개념으로 간주되려면 개념 맵상에서 얼마나 가까워야 하는지를 결정하는 데 사용됩니다. 임계값 조절기를 높이면 Answer Bot이 더 보수적으로 되어 질문과의 관련성이 높은 문서만 추천하게 되므로 더 적은 수의 문서를 추천하게 됩니다. 하지만 이는 Answer Bot이 문서 추천을 아예 하지도 못하는 질문이 더 많아질 수 있음을 의미하기도 합니다. 임계값 조절기를 낮추면 Answer Bot이 더 많은 문서를 추천하게 되지만 일부 문서의 경우 최종 사용자의 질문 내용과 관련이 없을 가능성 역시 높아집니다.
일반적인 오해: Answer Bot이 하지 않는 일
Answer Bot 작동 방식에 혼동을 야기할 수 있는 Answer Bot 및 머신 러닝에 대한 몇 가지 일반적인 오해가 있습니다. 이 섹션에서는 그러한 오해에 대해 다루며 Answer Bot이 데이터로 어떤 일을 하고, 어떤 일을 하지 않는지에 대해 명확히 설명해 드리고자 합니다.
여기에는 다음과 같은 질문이 포함됩니다.
- Answer Bot이 최종 사용자 피드백을 기반으로 학습하나요? 바로 이런 것이 머신 러닝이 하는 일이 아닌가요?
- Answer Bot의 인공지능 기반 검색이 키워드 검색보다 항상 더 나은가요?
- 같은 질문과 답변을 계속해서 반복하고, “예” 또는 “아니요”라고 응답하여 문서에 관련성 여부를 표시함으로써 Answer Bot을 “훈련”시킬 수 있나요?
- 문서에 레이블을 추가하면 문서에 키워드를 추가하는 것과 같나요? 이렇게 하면 문서 추천 빈도수를 높일 수 있나요?
- “답변 개선” 버튼으로 Answer Bot을 개선할 수 없다면 Answer Bot의 성능을 어떻게 개선할 수 있나요?
Answer Bot이 최종 사용자 피드백을 기반으로 학습하나요? 바로 이런 것이 머신 러닝이 하는 일이 아닌가요?
Answer Bot이 머신 러닝 모델로 제공되기는 하지만 Answer Bot이 끊임없이 학습한다는 뜻은 아닙니다. Answer Bot의 모델은 최종 사용자나 상담원의 피드백을 실시간으로 반영하지 않습니다. 따라서 피드백은 Answer Bot이 추천하는 문서에 아무런 영향을 미치지 않습니다.
최종 사용자 피드백은 캡처되어 다음과 같은 여러 가지 방법으로 사용됩니다.
- 상담원에게 표시되어 어떤 문서를 보았는지, 어떤 문서가 “유용하지 않음”으로 표시되었는지, 또는 어떤 문서가 문제를 해결하는 데 사용되었는지에 대한 추가적인 전후상황을 제공합니다.
- 관리자가 Answer Bot의 성능을 추적할 수 있도록 리포팅에 나타납니다.
- Zendesk의 데이터 과학팀에 의해 평가됩니다.
Answer Bot이 반복적으로 잘못된 문서를 추천한다면 문서의 제목과 처음 75개 단어를 수정하여 주 개념을 좀 더 명확하게 하는 것이 가장 좋습니다. 레이블을 사용하여 Answer Bot이 가져올 수 있는 문서 목록을 만들어 Answer Bot이 특정 문서 하위 집합에 포함된 문서만 추천하도록 할 수도 있습니다.
Answer Bot의 인공지능 기반 검색이 키워드 검색보다 항상 더 나은가요?
전반적으로 Answer Bot의 인공지능 기반 추천이 키워드 검색보다 더 정확하고 관련성이 높으며, 한 단어 내지 세 단어를 사용하는 대신 전체 문장으로 묻는 질문인 경우에는 특히 더 그렇습니다.
하지만 키워드 검색이 더 나은 경우도 있습니다. 예를 들어 사용자가 웹 위젯(클래식)을 통해 한 단어로 질문을 할 때에는 Answer Bot이 기본으로 키워드 검색을 사용하는데, 이런 경우에는 일반적으로 키워드 검색이 더 정확하기 때문입니다. 단, 중국어처럼 띄어쓰기 등의 명확한 단어 경계가 없는 언어의 경우는 예외입니다.
같은 질문과 답변을 계속해서 반복하고, “예” 또는 “아니요”라고 응답하여 문서에 관련성 여부를 표시함으로써 Answer Bot을 “훈련”시킬 수 있나요?
아니요. Answer Bot은 상담원이나 최종 사용자의 피드백에 상관없이 동일한 문서를 계속 추천합니다. Answer Bot은 시작하기 위해 어떠한 훈련도 필요하지 않도록 특별히 구축되었고, 이미 자연어를 이해하도록 사전 훈련되어 있습니다. 구문/질문을 테스트하는데 Answer Bot이 잘못된 문서를 추천한다면 문서의 제목과 처음 75개 단어를 수정하여 주 개념을 좀 더 명확하게 하는 것이 가장 좋습니다.
문서에 레이블을 추가하면 문서에 키워드를 추가하는 것과 같나요? 이렇게 하면 문서 추천 빈도수를 높일 수 있나요?
레이블은 Answer Bot이 가져올 수 있는 승인된 문서의 목록을 만드는 훌륭한 방법입니다. 하지만 레이블은 Answer Bot이 각 문서에 부여하는 가중치에는 영향을 미치지 않습니다. 레이블에 대한 자세한 내용은 이 문서를 살펴보세요.
“답변 개선” 버튼으로 Answer Bot을 개선할 수 없다면 Answer Bot의 성능을 어떻게 개선할 수 있나요?
Answer Bot의 성능을 개선하는 가장 좋은 방법은 다음과 같은 사항을 고려하는 것입니다.
- Answer Bot 활동 분석 - Explore를 사용하여 어느 문서의 성능이 가장 좋고 나쁜지 확인합니다.
- 기존 문서의 구조 - 헬프 센터 문서를 살펴보고 콘텐츠가 간결하고 체계적으로 구성되어 있는지 확인합니다. 각 제목은 짧은 문장이나 질문으로 되어 있어야 합니다.
- 콘텐츠 단서 - 머신 러닝 기술과 Guide 문서 사용도 데이터를 사용하여 지식창고의 상태를 개선할 기회와 작업을 찾습니다.
0 댓글
댓글을 남기려면 로그인하세요.