RESUMO
Em 20 de agosto de 2024, das 00h13 às 10h16 UTC, os clientes do Support nos pods 13, 18, 19, 23 e 25 sofreram atrasos com os emails que não criavam ou atualizavam os tickets.
Linha do tempo
20 de agosto de 2024 02h12 UTC | 19 de agosto de 2024 19h12 PT
Estamos cientes de um problema com e-mails que não criam ou atualizam tickets em vários pods. As investigações estão em andamento e forneceremos outra atualização em 30 minutos.
20 de agosto de 2024 02h32 UTC | 19 de agosto de 2024 19h32 PT
Temos indicações em nossos registros de que o problema que está causando a criação de tickets e as atualizações pode estar relacionado a um pico de tráfego. Estamos progredindo em nossas investigações, mas ainda não identificamos uma causa raiz. Mais informações nos próximos 30 minutos.
20 de agosto de 2024 02h59 UTC | 19 de agosto de 2024 19h59 PT
Picos de tráfego em nosso sistema de e-mail podem resultar em atrasos na criação de tickets ou no recebimento de atualizações de tickets. Estamos procurando maneiras de reduzir o tráfego para que a fila de e-mails possa ser processada. Próxima atualização prevista para 30 minutos.
20 de agosto de 2024 03h31 UTC | 19 de agosto de 2024 20:31 PT
Continuamos investigando o problema com nosso serviço de e-mail que está resultando em atraso nas atualizações e na criação de tickets. Nossa equipe está trabalhando para mitigar o problema. Esse problema pode afetar as contas nos pods 13, 18, 19, 23, 25 e 28. Próxima atualização em 30 minutos.
20 de agosto de 2024 04h03 UTC | 19 de agosto de 2024 21h03 PT
No momento, estamos testando uma possível correção para os atrasos nos tickets do Support. Depois de confirmar que isso funcionou conforme o esperado, esperamos ver uma redução em nossa lista de pendências de e-mails na fila, resultando na criação e atualização de tickets. Faremos outra atualização em 30 minutos. Agradecemos sua paciência enquanto resolvemos esse problema.
20 de agosto de 2024 04h41 UTC | 19 de agosto de 2024 21h41 PT
Nossas equipes estão trabalhando com a mais alta prioridade para corrigir o problema com o processamento de e-mail que afeta os tickets do Support. Esperamos que todos os e-mails enviados durante esse incidente comecem a ser reprocessados assim que o problema for resolvido. Faremos a próxima atualização assim que tivermos progresso para compartilhar.
20 de agosto de 2024 05:33 UTC | 19 de agosto de 2024 22h33 PT
Continuamos trabalhando em uma correção para os problemas de processamento de email em vários pods. Estamos implementando nossa primeira correção potencial agora, após testá-la com sucesso. Pedimos desculpas pelo impacto prolongado de hoje; forneceremos a próxima atualização quando tivermos uma. Obrigado.
20 de agosto de 2024 07:29 UTC | 20 de agosto de 2024 12h29 PT
Nossa equipe implementou uma correção para todos os pods afetados na tentativa de resolver os problemas de ticket de email do Support. Estamos monitorando nossa lista de pendências de e-mail em busca de melhorias.
20 de agosto de 2024 08:41 UTC | 20 de agosto de 2024 01h41 PT
Vemos uma melhoria em nossa lista de pendências e continuamos monitorando. Depois que a lista de pendências for limpa, os tickets começarão a ser criados em um ritmo normal novamente. Infelizmente, não há ETA ou solução alternativa no momento. Se você precisar acessar os e-mails enquanto isso, recomendamos verificar a caixa de entrada do endereço de e-mail vinculado. Forneceremos outra atualização quando tivermos uma.
20 de agosto de 2024 10h27 UTC | 20 de agosto de 2024 03:27 PT
Nossa equipe limpou a lista de pendências e a criação de tickets voltou às operações normais. Com isso, o incidente de serviço foi resolvido. A lista de pendências foi concluída e os tickets criados ou atualizados em ordem cronológica. Todos os e-mails afetados pelo incidente foram reprocessados e nenhum foi perdido. Observe que você não precisará reconfigurar a integração de encaminhamento. Pedimos desculpas por qualquer inconveniente que isso possa ter causado e agradecemos sua paciência.
POST-MORTEM
Análise da causa raiz
Esse incidente foi causado por um bug inesperado na lógica de encaminhamento de email que criou um loop de encaminhamento interno, causando um backup nas filas de processamento de email, o que gerou atrasos.
Resolução
Para corrigir esse problema, lançamos uma atualização para resolver o bug na lógica de encaminhamento e alocamos recursos adicionais para permitir que a lista de pendências de emails seja processada.
Itens de correção
- Melhore a lógica de encaminhamento de e-mail para evitar situações semelhantes no futuro.
- Revise os alertas para melhorar os tempos de resposta em filas crescentes de processamento de e-mail.
- Atualize a documentação e os runbooks.
PARA OBTER MAIS INFORMAÇÕES
Para obter informações atuais sobre o status do sistema do seu Zendesk, consulte nossa página de status do sistema. O resumo de nossa investigação post mortem geralmente é publicado aqui alguns dias após o término do incidente. Se você tiver mais perguntas sobre esse incidente, entre em contato com o suporte ao cliente Zendesk.
Aviso sobre a tradução: este artigo foi traduzido por um software de tradução automática para oferecer a você uma compreensão básica do conteúdo. Medidas razoáveis foram tomadas para fornecer uma tradução precisa, no entanto, a Zendesk não garante a precisão da tradução.
Em caso de dúvidas relacionadas à precisão das informações contidas no artigo traduzido, consulte a versão oficial do artigo em inglês.