요약
2024년 2월 23일 08:00(UTC)부터 17:26(UTC)까지 모든 POD의 Support 고객에게 사이드 대화 기능을 통해 응답을 받지 못하는 문제가 발생했습니다.
일정
13:12(UTC) | 05:12(태평양 표준시)
현재 Support의 여러 POD에 걸친 사이드 대화의 메시지 업데이트 문제에 대한 보고서를 조사 중입니다. 조사가 진행 중입니다. 기다려 주셔서 감사합니다.
13:34(UTC) | 05:34(태평양 표준시)
이제 작동하는 이전 버전의 플랫폼을 배포했고 이메일이 정상적으로 처리되기 시작했습니다. 계속해서 모니터링합니다. 30분 후 또는 공유할 정보가 더 있으면 다시 업데이트하겠습니다.
14:11 UTC | 06:11(태평양 표준시)
안정적인 이전 버전의 플랫폼을 복원했으며 수신 사이드 대화 이메일이 이제 예상대로 작동합니다. 대부분의 백로그가 해결되어 현재 최대 용량으로 운영되고 있습니다. 처리되지 않았을 수 있는 이전 메시지에서 복원이 필요한지 확인하기 위해 나머지 복구 작업을 계속 진행하고 있습니다. 계속해서 상황을 면밀히 모니터링하여 1시간 내에 또 다른 업데이트를 제공할 것입니다. 이해해 주셔서 감사합니다.
15:17 UTC | 07:17(태평양 표준시)
현재 보고할 새로운 개발 사항 없이 플랫폼 안정성을 유지하고 있습니다. 복구 작업을 계속하는 동안 기다려 주셔서 감사합니다. 이제 4시간마다 또는 새 정보가 나오면 바로 업데이트가 제공됩니다.
사후
근본 원인 분석
이 사건은 이스케이프된 결함으로 인해 발생했습니다. 자격 증명 토큰을 순환 토큰에서 읽는 방법에 대한 변경 내용을 포함하여 수신 이메일 서비스를 위한 새 코드가 배포되었습니다. 실행 중이던 코드가 만료된 토큰을 참조하여 이메일이 백로그되었습니다.
해결
이 문제를 해결하기 위해 배포된 코드를 이전의 안정적인 버전으로 롤백하고, 작업을 복원했으며, 이메일 백로그를 지웠습니다.
수정 항목
- 이메일 서비스 구성을 업데이트하여 일시적인 오류 처리를 최소화하여 작업을 다시 처리하지 않도록 하세요. [예약됨]
- 이 시나리오가 반복되는 경우 팀에 더 빨리 호출할 수 있도록 Runbook을 업데이트하세요.[예약됨]
자세한 정보
Zendesk에 대한 현재 시스템 상태 정보는시스템 상태 페이지를 참조하세요. 사후 조사 요약은 보통 인시던트가 종료되고 며칠 후 여기에 게시됩니다. 이 인시던트에 대해 추가 질문이있으시면 위젯 내에서 ZBot 메시징을 통해 티켓을 기록해 주세요.
번역 고지 사항: 본 문서는 콘텐츠에 대한 기본적인 이해를 제공하기 위해 자동 번역 소프트웨어를 사용하여 번역되었습니다. 정확한 번역을 제공하고자 합당한 노력을 기울였으나 Zendesk는 번역의 정확성을 보장하지 않습니다.
번역된 문서에 포함된 정보의 정확성과 관련하여 질문이 있으시면 문서의 공식 버전인 영문 버전을 참조하시기 바랍니다.