RESUMO
Entre 29 de novembro de 2023, 16h06 UTC, e 20 de dezembro de 2023, 11h20 UTC, alguns clientes do Sell estavam enfrentando atrasos nos emails recebidos e enviados.
Linha do tempo
12:03 UTC | 04:03 PT (20 de dezembro)
Estabilizamos com êxito a capacidade de entrega de e-mail para o Sell. Uma solução permanente foi implementada para evitar a recorrência de problemas semelhantes. Consideramos esse incidente totalmente resolvido. Agradecemos sua paciência durante a investigação e pedimos desculpas por qualquer interrupção que isso possa ter causado.
15:31 UTC | 07:31 PT (19 de dezembro)
Desde nossa atualização anterior, temos observado uma entrega de e-mail consistente com o Sell. Estamos monitorando esse problema até que ele seja totalmente resolvido. Faremos mais atualizações quando tivermos mais informações disponíveis. Agradecemos sua paciência.
21:52 UTC | 13:52 PT (18 de dezembro)
Os atrasos no processamento e entrega de e-mails no Sell se estabilizaram e nossos engenheiros continuarão monitorando o desempenho nas próximas 24 horas. Faremos outra atualização quando tivermos novas informações para compartilhar.
17:47 UTC | 09:47 PT (18 de dezembro)
Após retomar nossa investigação hoje, estamos vendo uma latência e atrasos crescentes nos emails recebidos e enviados do Sell novamente. Nossa equipe está trabalhando diligentemente para lidar com o impacto imediato e forneceremos atualizações adicionais assim que tivermos novas informações para compartilhar.
17:19 UTC | 09:19 PT (15 de dezembro)
Nossa equipe conseguiu reduzir o pico de latência e os atrasos nos emails recebidos e enviados no Sell, observados novamente hoje. Os e-mails com o Sell estão sendo processados normalmente no momento. Continuaremos nosso monitoramento durante o fim de semana e nossa investigação da causa raiz no início da próxima semana.
16:07 UTC | 08:07 PT (15 de dezembro)
No momento, estamos enfrentando outro pico de latência e atrasos que estão afetando os e-mails recebidos e enviados com o Sell. Continuamos a investigar e publicaremos atualizações à medida que soubermos mais.
20:01 UTC | 12:01 PT (14 de dezembro)
Após reiniciar os serviços afetados, a latência caiu e os emails recebidos e enviados no Sell estão sendo processados conforme o esperado. Estenderemos nosso monitoramento até amanhã para permitir que a equipe investigue mais e garantir a recuperação completa.
19:36 UTC | 11:36 PT (14 de dezembro)
Nossas equipes notaram outro pico na latência e atrasos que afetam os emails recebidos e enviados com o Sell e reiniciaram os sistemas afetados mais uma vez. A latência começou a cair e monitoraremos mais para garantir a recuperação total.
18:43 UTC | 10:43 PT (14 de dezembro)
Nossa equipe reiniciou um sistema de back-end responsável pelo processamento de e-mails no Sell e a latência e os atrasos voltaram aos níveis normais. Os e-mails recebidos e enviados no Sell agora são processados conforme o esperado. Agradecemos sua paciência durante nossa investigação.
18:18 UTC | 10:18 PT (14 de dezembro)
Confirmamos um problema com o envio e recebimento de e-mails no Sell e nossa equipe está investigando. Continuaremos a publicar atualizações à medida que soubermos mais.
18:01 UTC | 10:01 PT (14 de dezembro)
Estamos investigando relatórios de atrasos e erros no envio e recebimento de e-mails no Sell. Outras atualizações serão publicadas em breve.
POST-MORTEM
Análise da causa raiz
A causa principal dos atrasos e erros de email do Sell não foram as dependências previstas introduzidas durante a migração de clusters de banco de dados que, devido às interações dos subsistemas, causaram a degradação do desempenho do banco de dados a ponto de alguns recursos relacionados ao email ficarem indisponíveis para os clientes.
Resolução
Os problemas foram resolvidos com a alteração do padrão de comunicação de rede entre esses subsistemas.
Itens de correção
- Documente e programe o trabalho para resolver problemas não descobertos [Programado]
PARA OBTER MAIS INFORMAÇÕES
Para obter informações atuais sobre o status do sistema do seu Zendesk, consulte nossa página de status do sistema. O resumo de nossa investigação post mortem geralmente é publicado aqui alguns dias após o término do incidente. Se você tiver mais perguntas sobre esse incidente, registre um ticket conosco por mensagens do ZBot no Widget.
Aviso sobre a tradução: este artigo foi traduzido por um software de tradução automática para oferecer a você uma compreensão básica do conteúdo. Medidas razoáveis foram tomadas para fornecer uma tradução precisa, no entanto, a Zendesk não garante a precisão da tradução.
Em caso de dúvidas relacionadas à precisão das informações contidas no artigo traduzido, consulte a versão oficial do artigo em inglês.