요약
2024년 8월 27일 16:30(UTC)부터 22:30(UTC)까지 Pod 19, 20 및 27의 Support 고객은 웹훅 및 트리거 실행이 지연되어 티켓 업데이트 및 최종 사용자와의 커뮤니케이션에 영향을 미쳤습니다.
일정
2024년 8월 27일 오후 8시 03분(UTC) | 2024년 8월 27일 오후 1:03(태평양 표준시)
Support 지연 트리거 및 웹훅 실행에 대한 보고서를 조사 중입니다. 30분 후 또는 공유할 새 정보가 있을 때 다음 업데이트를 합니다.
2024년 8월 27일 오후 8시 27분(UTC) | 2024년 8월 27일 오후 1:27(태평양 표준시)
웹훅 및 트리거 지연이 POD 19, 20 및 27의 Support 고객에게 영향을 미치고 있습니다. 현재 저희 엔지니어들이 참여하여 조사 중입니다. 30분 후 또는 공유할 새 정보가 있을 때 다음 업데이트를 합니다.
2024년 8월 27일 오후 8시 56분(UTC) | 2024년 8월 27일 오후 1:56(태평양 표준시)
Zendesk 엔지니어들이 POD 19, 20 및 27의 Support 고객에게 영향을 미치는 웹훅 및 트리거 지연을 계속 조사하고 있습니다. 1시간 후 또는 공유할 새 정보가 있을 때 다음 업데이트를 합니다.
2024년 8월 27일 오후 9:24(UTC) | 2024년 8월 27일 오후 2:24(태평양 표준시)
POD 19에서 웹훅 지연이 개선되는 것을 확인하고 있으며 POD 20 및 27에서 웹훅의 백로그를 처리하기 위한 작업을 계속하고 있습니다. 1시간 후 또는 공유할 새 정보가 있을 때 다음 업데이트를 합니다.
2024년 8월 27일 오후 10:03(UTC) | 2024년 8월 27일 오후 3:03(태평양 표준시)
POD 19 및 20에서 웹훅의 백로그가 완전히 처리되었으므로 그러한 POD에서 더 이상 지연이 발생하지 않습니다. 아직 POD 27에서 웹훅의 백로그를 처리 중이며 백로그가 해결되면 업데이트를 제공할 것입니다.
2024년 8월 27일 오후 10:40(UTC) | 2024년 8월 27일 오후 3시 40분(태평양 표준시)
POD 19, 20 및 27에서 웹훅의 백로그가 완전히 처리되었으므로 그러한 POD에서 더 이상 지연이 발생하지 않습니다. 이제 문제가 완전히 해결되었습니다.
사후
근본 원인 분석
이 사건은 주로 대규모 고객의 대량 사용자 가져오기로 인한 갑작스러운 트래픽 급증으로 인해 발생했습니다. 이로 인해 웹훅 시스템이 처리량 한도에 도달하여 상당한 지연이 발생했습니다. 또한 Pod 27에서는 자동 확장 메커니즘이 증가된 트래픽을 적절하게 처리하지 못하여 지연이 더욱 악화되었습니다.
해결
이 문제를 해결하기 위해 웹훅 디스패처와 신뢰할 수 없는 이그레스 영역(UEZ)이 트래픽 급증을 처리할 수 있도록 확장 가능하게 확장되었습니다. 또한 특정 고객은 운영 속도를 늦추도록 요청받았습니다. 필요한 확장 조정이 이루어진 후에는 백로그가 감소하기 시작했고 영향을 받는 모든 POD에서 점차 정상적인 서비스가 복원되었습니다.
수정 항목
- 웹훅 서비스에 대한 수평적 자동 확장 정책을 정의합니다. [진행 중]
- 많은 하위 도메인을 가진 단일 고객을 고려하여 호출 빈도 제한 논리를 개선하는 방법을 조사하세요. [예약됨]
- Pod 27에서 보안 이그레스 티어 자동 확장 문제를 조사하고 수정합니다. [예정됨]
- 배포 및 구성 변경 프로세스를 간소화하여 긴급 해결 중 마찰을 줄이세요. [진행 중]
- 웹훅에 대한 하위 도메인별 킬 스위치를 구현합니다. [진행 중]
- 웹훅 백로그 또는 배달 지연 시간이 너무 길어질 때 플래그를 지정하는 모니터링 알림을 추가하세요. [예약됨]
- 웹훅 호출 빈도 제한을 공개적으로 문서화하여 고객에게 알리고 트래픽을 선제적으로 관리하세요. [예약됨]
자세한 정보
Zendesk에 대한 현재 시스템 상태 정보는시스템 상태 페이지를 참조하세요. 사후 조사 요약은 보통 인시던트가 종료되고 며칠 후 여기에 게시됩니다. 이 인시던트에 대한 추가 질문이있으면 Zendesk 고객 지원팀에 문의하세요.
번역 고지 사항: 본 문서는 콘텐츠에 대한 기본적인 이해를 제공하기 위해 자동 번역 소프트웨어를 사용하여 번역되었습니다. 정확한 번역을 제공하고자 합당한 노력을 기울였으나 Zendesk는 번역의 정확성을 보장하지 않습니다.
번역된 문서에 포함된 정보의 정확성과 관련하여 질문이 있으시면 문서의 공식 버전인 영문 버전을 참조하시기 바랍니다.
댓글 0개