RESUMO
Em 23 de fevereiro de 2024, das 08:00 UTC às 17:26 UTC, os clientes do Support em todos os pods tiveram o problema de não receber respostas por meio do recurso Conversas paralelas.
Linha do tempo
13:12 UTC | 05:12 PT
No momento, estamos investigando relatórios de problemas de atualização de mensagens com conversas paralelas em vários pods no Support. A investigação está em andamento. Agradecemos sua paciência.
13:34 UTC | 05:34 PT
Agora, implantamos uma versão de trabalho mais antiga da plataforma e começamos a ver o processamento normal de emails. Continuamos monitorando. Outra atualização em 30 minutos ou quando tivermos mais informações para compartilhar.
14:11 UTC | 06:11 PT
Restabelecemos com êxito uma versão estável anterior de nossa plataforma e os emails de conversas paralelas recebidos agora estão funcionando conforme o esperado. A maior parte da lista de pendências foi resolvida e agora estamos operando com capacidade total. Continuamos trabalhando nas tarefas de recuperação restantes para confirmar se é necessária a restauração de mensagens mais antigas que podem não ter sido processadas. Continuaremos monitorando a situação de perto e forneceremos outra atualização em 1h ou antes, caso haja desenvolvimentos significativos a serem relatados. Agradecemos sua compreensão.
15:17 UTC | 07:17 PT
Estamos mantendo a estabilidade da plataforma, sem novos desenvolvimentos a relatar no momento. Agradecemos sua paciência enquanto continuamos os esforços de recuperação. Agora, as atualizações serão fornecidas a cada 4 horas ou assim que novas informações estiverem disponíveis.
POST-MORTEM
Análise da causa raiz
Esse incidente foi causado por um defeito de escape. Um novo código foi implantado para o serviço de e-mail recebido, incluindo alterações em como os tokens de credenciais eram lidos em tokens rotativos. O código em execução fazia referência a um token expirado, fazendo com que os e-mails fossem acumulados.
Resolução
Para corrigir esse problema, o código implantado foi revertido para a versão estável anterior, as operações foram restauradas e a lista de pendências de email foi limpa.
Itens de correção
- Atualizar a configuração do serviço de e-mail para minimizar o gerenciamento de erros temporários e evitar o reprocessamento do trabalho [Programado]
- Atualize o runbook para avisar a equipe mais rapidamente no caso de recorrência desse cenário [Programado]
PARA OBTER MAIS INFORMAÇÕES
Para obter informações atuais sobre o status do sistema do seu Zendesk, consulte nossa página de status do sistema. O resumo de nossa investigação post mortem geralmente é publicado aqui alguns dias após o término do incidente. Se você tiver mais perguntas sobre esse incidente, registre um ticket conosco por mensagens do ZBot no Widget.
Aviso sobre a tradução: este artigo foi traduzido por um software de tradução automática para oferecer a você uma compreensão básica do conteúdo. Medidas razoáveis foram tomadas para fornecer uma tradução precisa, no entanto, a Zendesk não garante a precisão da tradução.
Em caso de dúvidas relacionadas à precisão das informações contidas no artigo traduzido, consulte a versão oficial do artigo em inglês.
0 comentários