RESUMO
Em 9 de novembro de 2023, das 14h00 UTC às 16h34 UTC, um subconjunto de clientes do Support no pod 28 teve atrasos de aproximadamente 2 horas ao enviar tickets e notificações por email geradas pelo sistema.
Linha do tempo
15:24 UTC | 07:24 PT
No momento, estamos cientes de atrasos e falhas de e-mail de saída para clientes no pod 28. Todos os e-mails serão repetidos assim que tivermos uma correção implementada. A investigação está em andamento e atualizaremos você em breve com mais informações.
15:41 UTC | 07:41 PT
Encontramos a causa raiz do problema e estamos trabalhando em uma possível correção. Faremos outra atualização em 30 minutos ou assim que tivermos mais informações.
16:08 UTC | 08:08 PT
Nossa equipe continua trabalhando ativamente em uma correção para o problema de email dos clientes no Pod 28 e continuaremos a fornecer atualizações conforme as tivermos.
16:28 UTC | 08:28 PT
Estamos começando a ver alguma melhoria no problema que causa atrasos e falhas nos emails de saída para os clientes no pod 28. Nossa equipe continuará monitorando a situação para garantir a recuperação total.
17:56 UTC | 09:56 PT
Ainda estamos nos recuperando do problema que causa atrasos e falhas na entrega de emails de saída no Pod 28; no entanto, estamos trabalhando em uma lista de pendências e alguns atrasos ainda são esperados. Nossa equipe ainda está monitorando a situação para garantir que os serviços sejam totalmente restaurados.
18:26 UTC | 10:26 PT
Nos recuperamos totalmente do problema que causava atrasos e falhas na entrega de emails de saída para clientes no pod 28. Agradecemos sua paciência durante nossa investigação.
POST-MORTEM
Análise da causa raiz
Esse incidente foi causado por um atraso no envio de emails originado de um aumento repentino nas tarefas de processamento de email provenientes de uma conta específica, onde o sistema não estava equipado com memória e recursos de CPU suficientes para lidar com essa carga naquele momento.
Resolução
Para corrigir esse problema, trabalhamos para aumentar a memória do sistema e os recursos de CPU e reduzir o número de e-mails que podiam ser processados ao mesmo tempo. Isso permitiu que o sistema lidasse com o aumento da carga e processasse os e-mails na fila.
Itens de correção
- Ajustou os recursos do sistema para garantir que ele possa lidar com a carga.
- Crie alertas pagináveis adicionais para monitoramento.
PARA OBTER MAIS INFORMAÇÕES
Para obter informações atuais sobre o status do sistema do seu Zendesk, consulte nossa página de status do sistema. O resumo de nossa investigação post mortem geralmente é publicado aqui alguns dias após o término do incidente. Se você tiver mais perguntas sobre esse incidente, registre um ticket conosco por mensagens do ZBot no Widget.
Aviso sobre a tradução: este artigo foi traduzido por um software de tradução automática para oferecer a você uma compreensão básica do conteúdo. Medidas razoáveis foram tomadas para fornecer uma tradução precisa, no entanto, a Zendesk não garante a precisão da tradução.
Em caso de dúvidas relacionadas à precisão das informações contidas no artigo traduzido, consulte a versão oficial do artigo em inglês.