요약
2023년 11월 7일 08:09(UTC)부터 2023년 11월 21일 2:20(UTC) 사이에 모든 POD의 Zendesk 고객이 Gmail 주소나 기타 Google 관리 이메일 도메인이 있는 최종 사용자의 발신 이메일 수신에 지연이 발생했습니다.
일정
19:53(UTC) | 11:53(태평양 표준시)(11월 8일)
Gmail 주소 또는 Google에서 관리하는 이메일 도메인을 사용하는 최종 사용자의 발신 이메일 수신이 지연되는 문제를 확인했습니다. 어떤 이메일이 영향을 받는지 진단하기는 어려울 것입니다. 하지만 이러한 영향을 완화하고 가능한 빨리 문제를 해결하기 위해 Google과 협력하고 있습니다.
04:23 UTC | 20:23(태평양 표준시)(11월 10일)
일부 고객의 경우 Google에서 관리하는 이메일 도메인으로 일부 발신 이메일의 배달 지연을 진단하기 위해 여러 경로(Google 파트너와의 협력 포함)를 계속해서 노력하고 있습니다. 압도적인 대다수의 이메일이 이러한 도메인으로 전달되고 있지만, Zendesk는 일부 기능에 지연된 이메일의 작은 비율이 영향을 미칠 수 있음을 인정하며 이 문제를 해결하기 위해 최선을 다하고 있습니다. 이 문제를 해결하는 동안 기다려 주셔서 감사합니다.
20:02(UTC) | 12:03(태평양 표준시)(11월 13일)
Zendesk 팀은 일부 Google 관리 이메일 도메인으로 보내는 발신 이메일 전달이 지연되는 문제를 해결하기 위해 최선을 다하고 있습니다. 조사가 진행되는 동안 추가 정보를 제공해 드리겠습니다. 그동안 양해해 주셔서 감사합니다.
03:18 UTC | 19:18(태평양 표준시)(11월 15일)
지속적인 조사의 일환으로 발신 Zendesk IP 주소에서 원하지 않는 트래픽이 생성되지 않음을 확인하기 위한 조치를 취했습니다. 또한 Zendesk는 이메일 서비스 제공업체와 적극적으로 협력하여 부과된 호출 빈도 제한을 검사하고 해당되는 경우 이를 해제합니다. Zendesk는 이메일 배달 지연이 운영에 미치는 영향을 이해하며 가능한 빨리 이 문제를 해결하기 위해 모든 방법을 모색하고 있습니다. 양해해 주셔서 감사합니다.
13:10(UTC) | 05:10(태평양 표준시)(11월 16일)
Zendesk는 이메일 서비스 제공업체와 계속해서 긴밀하게 협력하고 있으며 Zendesk 서비스에 영향을 미치는 호출 빈도 제한을 해결하는 데 계속 초점을 맞추고 있습니다. 이메일 배달 지연이 운영에 미칠 수 있는 중대한 영향을 인식하면서 이 문제를 해결하기 위해 가능한 모든 솔루션을 계속 모색하고 있습니다. 이해해 주셔서 감사드리며, 문제를 해결하는 동안 기다려 주셔서 감사합니다.
13:24(UTC) | 05:24(태평양 표준시)(11월 17일)
마지막 업데이트 이후 큰 변화가 없습니다. Zendesk는 이메일 전송 속도 제한을 해결하고 예상대로 가능한 빨리 이메일을 처리하여 전달하기 위해 이메일 파트너와 활발히 논의 중입니다. 오늘 오후 AMER 시간 동안 더 자세한 정보를 받을 예정입니다. 해결을 위해 노력하는 동안 기다려 주셔서 감사합니다.
20:10(UTC) | 12:10(태평양 표준시)(11월 17일)
Zendesk는 제공업체와 협력하여 어느 정도 진전을 이루었고 발신 이메일 처리 지연을 해결할 수 있는 솔루션을 발견했습니다. 출시 이후 상당한 복구 및 개선이 이루어졌으며, 이러한 진행 상황이 완전한 해결까지 계속되기를 바랍니다. 지속적으로 소모되는 백로그 대기열이 있으므로 전체 백로그가 처리될 때까지 약간의 지연이 발생할 수 있습니다. 저희 팀에서 상황을 면밀히 모니터링하고 있으며, 이 인시던트를 해결하기 위한 작업을 계속하면서 추가 정보를 제공해 드리겠습니다.
23:10(UTC) | 15:10(태평양 표준시)(11월 17일)
성공적인 발신 이메일 처리 비율의 추가적인 개선을 추적하고 관찰함에 따라 오늘 일찍 Google이 발표한 수정 프로그램이 최근에 직면한 문제를 해결할 수 있다는 확신이 점점 커지고 있습니다. Zendesk 팀은 주말 내내 모니터링을 연장할 예정이며, 다음 주 초에는 발신 이메일의 기존 백로그를 신속하게 처리하기 위한 추가 조치를 모색하기 위해 노력할 것입니다. 월요일에 결과를 알려 드릴 계획입니다. 이 사건을 해결하는 동안 기다려 주셔서 감사합니다.
22:32(UTC) | 14:32(태평양 표준시)(11월 20일)
주말까지 모니터링한 결과 Google에서 관리하는 이메일 도메인에 대한 발신 이메일 처리 성공률이 여전히 개선되었으며 Google에서 발표한 수정 프로그램으로 예상되는 동작을 복원하고 있음을 확인했습니다. Zendesk 팀은 백로그된 이메일의 드레이닝을 가속화하고 모든 발신 메시지가 수신되도록 하기 위한 추가 조치를 구현하기 위한 작업을 완료하고 있습니다. 이번 조사 기간 동안 기다려 주셔서 다시 한 번 감사드리며, 이번 주에 이 인시던트를 해결하기 위해 노력하는 대로 추가적인 업데이트를 하도록 하겠습니다.
14:48 UTC | 06:48(태평양 표준시)(11월 21일)
Gmail 백로그가 완전히 처리되었음을 알려드립니다. Google은 더 이상 호출 빈도를 제한하지 않으며 모든 발신 이메일이 예상대로 전달되고 있습니다. 완전히 해결될 때까지 계속 모니터링할 것입니다. 이해해 주셔서 감사합니다.
16:35(UTC) | 8:34(태평양 표준시)(11월 21일)
Gmail 백로그의 나머지 부분을 처리한 이후로 저희 팀은 발신 이메일이 Google 관리 도메인으로 계속 성공적으로 배달되는 것을 확인했으며 이로써 이 사건이 해결될 것이라고 확신합니다. 조사를 완료하는 동안 기다려 주셔서 감사합니다.
사후
근본 원인 분석
과거에는 IP 주소의 하위 집합이 매우 짧은 기간 동안 차단 목록에 나열되었습니다. 따라서 Google은 차단 목록에 나열된 IP 주소의 하위 집합뿐만 아니라 모든 글로벌 IP에서 시작하는 모든 이메일 트래픽에 호출 빈도 제한을 적용했습니다.
해결
저희는 Google과 협력하여 이전에 적용되었던 호출 빈도 제한으로 인한 부담을 덜어주는 수정 사항을 적용할 수 있었습니다.
수정 항목
- Google 도메인에 내부 호출 빈도 제한을 추가하여 Gmail로 가는 트래픽을 보다 정확하게 제어하세요.
- 스팸으로 표시된 고객 트래픽을 지능적으로 분석하고 다시 시도하는 피드백 루프를 만드세요.
- 스팸의 영향을 완화하는 릴리스 프로세스를 세분화합니다.
- 오류 코드에 더 민감한 새 알림을 만듭니다.
- Zendesk의 스팸 감지 기능을 개선하세요.
자세한 정보
Zendesk에 대한 현재 시스템 상태 정보는 시스템 상태 페이지. 사후 조사 요약은 보통 인시던트가 종료되고 며칠 후 여기에 게시됩니다. 이 사건에 대해 더 궁금한 점이 있으시면 위젯 내에서 ZBot 메시징을 통해 티켓을 기록해 주세요.
번역 고지 사항: 본 문서는 콘텐츠에 대한 기본적인 이해를 제공하기 위해 자동 번역 소프트웨어를 사용하여 번역되었습니다. 정확한 번역을 제공하고자 합당한 노력을 기울였으나 Zendesk는 번역의 정확성을 보장하지 않습니다.
번역된 문서에 포함된 정보의 정확성과 관련하여 질문이 있으시면 문서의 공식 버전인 영문 버전을 참조하시기 바랍니다.
댓글 0개