RESUMO
Em 16 de novembro de 2023, das 18h02 UTC às 20h UTC, alguns clientes do Support nos pods 13, 17, 19, 23, 28 e 29 encontraram atrasos ou uma interrupção total no recebimento de emails recebidos. As durações do atraso variaram de 15 a 60 minutos entre o envio de emails e a criação de tickets no Zendesk por meio de serviços gerenciados pelo Google.
Linha do tempo
18:53 UTC | 10:53 PT
Estamos investigando relatórios de e-mails recebidos que não foram processados para clientes nos pods 28 e 29. Forneceremos informações adicionais em breve.
18:57 UTC | 10:57 PT
Confirmamos um problema que está causando atrasos no processamento de e-mails recebidos para clientes nos pods 13, 19, 23, 28 e 29. Nossa equipe está investigando e forneceremos mais atualizações assim que estiverem disponíveis.
19:33 UTC | 11:33 PT
Nossa equipe continua investigando o problema que causa atrasos no processamento de e-mails recebidos nos pods 13, 17, 19, 23, 28 e 29. Estamos trabalhando diligentemente para mitigar o impacto e compartilharemos novas informações assim que possível.
19:54 UTC | 11:54 PT
Estamos começando a ver melhorias no problema que causa atrasos no processamento de e-mails recebidos nos pods 13, 17, 19, 23, 28 e 29. Nossa equipe continuará monitorando para garantir a recuperação total.
21:14 UTC | 13:14 PT
Resolvemos o problema que causa atrasos nos e-mails recebidos para os clientes nos pods 13, 17, 19, 23, 28 e 29, e os e-mails recebidos estão sendo processados conforme o esperado no momento. Agradecemos sua paciência durante nossa investigação.
POST-MORTEM
Análise da causa raiz
Esse incidente foi causado pelo fato de o serviço Coletor de e-mail ter problemas de conectividade com o Gmail, interrompendo o processamento de e-mails recebidos no Support, onde as respostas 302 do Gmail foram interpretadas como falhas pela investigação de atividade, indicando ao orquestrador de contêiner que os pods não estavam íntegros. Isso levou o orquestrador a substituir os pods e interromper o processamento de e-mails nos contêineres associados, causando atrasos ou interrupções nos e-mails recebidos.
Resolução
Para corrigir esse problema, o tráfego de e-mails recebidos foi restaurado depois que o Gmail parou de bloquear essas verificações de integridade, permitindo que os e-mails recebidos do Support concluíssem a criação de seus pods e começassem a processar e-mails novamente. Não muito tempo depois, as filas de e-mails recebidos se recuperaram e o tráfego começou a fluir normalmente.
Itens de correção
- Melhore as ferramentas de implementação existentes para verificações de integridade de email.
- Crie alertas adicionais.
- Adicione linhas de código de correção em aplicativos específicos.
PARA OBTER MAIS INFORMAÇÕES
Para obter informações atuais sobre o status do sistema do seu Zendesk, consulte nossa página de status do sistema. O resumo de nossa investigação post mortem geralmente é publicado aqui alguns dias após o término do incidente. Se você tiver mais perguntas sobre esse incidente, registre um ticket conosco por mensagens do ZBot no Widget.
Aviso sobre a tradução: este artigo foi traduzido por um software de tradução automática para oferecer a você uma compreensão básica do conteúdo. Medidas razoáveis foram tomadas para fornecer uma tradução precisa, no entanto, a Zendesk não garante a precisão da tradução.
Em caso de dúvidas relacionadas à precisão das informações contidas no artigo traduzido, consulte a versão oficial do artigo em inglês.
0 comentários