요약
2024년 7월 23일 10:58(UTC)부터 14:57(UTC)까지 Pod 29의 고객이 제품 트레이를 통해 Zendesk 제품(관리 센터 포함)에 액세스할 수 없는 문제를 경험했습니다. 고객 요청의 약 1%는 Guide, Talk, Chat, Explore 및 Support 내에서 인증된 기능에 액세스할 때 503 오류를 리턴했으며 고객은 Zendesk의 제품 트레이를 열어 제품 간에 전환할 수 없었습니다. 기본 웹 브라우저 페이지는 물론 제품 트레이에 몇 가지 오류가 표시되었습니다.
일정
2024년 7월 23일 오전 11:48(UTC) | 2024년 7월 23일 오전 4:48(태평양 표준시)
Zendesk는 Pod 29에서 관리 센터를 로드할 수 없고 “페이지가 작동하지 않습니다” 오류가 표시되는 고객의 문제를 인지하고 있으며 이를 완화하기 위해 노력하고 있습니다. 다른 제품들도 제품 트레이에서 “Zendesk 제품을 로드할 수 없습니다. 다시 시도하세요.” 오류가 발생했습니다. 30분 후 또는 공유할 내용이 더 있을 때 업데이트합니다.
2024년 7월 23일 오후 12:19(UTC) | 2024년 7월 23일 오전 5:19(태평양 표준시)
Zendesk는 Pod 29에서 고객의 여러 제품에 대한 액세스 문제를 해결하기 위해 계속 노력하고 있습니다. 양해해 주셔서 감사합니다.
2024년 7월 23일 오후 1:22(UTC) | 2024년 7월 23일 오전 6:22(태평양 표준시)
Zendesk는 POD 29를 사용하는 고객의 여러 제품에 영향을 미치는 액세스 문제에 대한 가능한 해결 방법을 계속 연구하고 있습니다. 그동안 기다려 주셔서 감사합니다.
2024년 7월 23일 오후 1:46(UTC) | 2024년 7월 23일 오전 6시 46분(태평양 표준시)
잠재적인 수정 사항을 구현했으며 POD 29에서 테스트 계정을 로드할 때 몇 가지 개선과 함께 오류가 감소했습니다. 캐시와 쿠키를 지운 다음 Zendesk를 다시 로드해 보세요.
2024년 7월 23일 오후 2:06(UTC) | 2024년 7월 23일 오전 7시 06분(태평양 표준시)
문제가 해결되고 있다는 긍정적인 확인을 받고 있지만, 오류가 급증할 가능성이 있는지 계속 모니터링하고 있습니다. 이 문제를 완전히 해결된 것으로 표시할 때까지 기다려 주셔서 감사합니다.
2024년 7월 23일 오후 3시 19분(UTC) | 2024년 7월 23일 오전 8:19(태평양 표준시)
문제의 근본 원인을 파악하고 추가 문제를 방지하기 위해 변경 내용을 롤백했습니다. 추가 모니터링 결과 더 이상 오류가 없는 것으로 확인되어 이 인시던트를 완전히 해결된 것으로 표시합니다.
사후
근본 원인 분석
이 인시던트는 새로운 팀원 관리 권한의 배포로 인해 발생했습니다. 이번 릴리스에서는 사용자 지정 역할의 상담사가 다른 팀원과 이들의 역할 배정을 독립 실행형 권한(공지 사항)으로 보고 관리할 수 있는 권한을 부여받을 수 있습니다. 이 배포로 인해 기본 내부 권한 서비스에 대한 요청이 크게 증가하여 데이터베이스 클러스터의 수용 능력이 포화 상태가 되었습니다. 이 트래픽의 결과로 클러스터가 최대 네트워크 대역폭 수용 능력에 도달하여 클러스터와 Zendesk 서비스의 앱 서버 간에 네트워킹 오류가 발생했습니다.
해결
이 문제를 해결하기 위해 Zendesk 팀은 처음에 권한 서비스의 데이터베이스 인스턴스 용량을 늘려 단기 복구를 제공했습니다. 근본 원인이 파악된 후 엔지니어들이 권한 기능 코드 변경을 롤백했습니다.
수정 항목
- 권한 검사로 인한 네트워크 트래픽 줄이기 [진행 중]
- 트래픽 증가를 감지하기 위한 추가 모니터링 및 알림 [예정됨]
- 적절한 크기의 권한 서비스 데이터베이스 용량 조사 [예정됨]
자세한 정보
Zendesk에 대한 현재 시스템 상태 정보는시스템 상태 페이지를 참조하세요. 사후 조사 요약은 보통 인시던트가 종료되고 며칠 후 여기에 게시됩니다. 이 인시던트에 대한 추가 질문이있으면 Zendesk 고객 지원팀에 문의하세요.
번역 고지 사항: 본 문서는 콘텐츠에 대한 기본적인 이해를 제공하기 위해 자동 번역 소프트웨어를 사용하여 번역되었습니다. 정확한 번역을 제공하고자 합당한 노력을 기울였으나 Zendesk는 번역의 정확성을 보장하지 않습니다.
번역된 문서에 포함된 정보의 정확성과 관련하여 질문이 있으시면 문서의 공식 버전인 영문 버전을 참조하시기 바랍니다.