RESUMO
Em 1º de dezembro de 2024, das 4h00 UTC a 3 de dezembro, 20h00 UTC, os clientes do Sell em vários pods tiveram problemas com recursos como visibilidade de dados em listas inteligentes, conversão de lead com criação de oportunidades e chamadas feitas, com o último apresentando problemas intermitentes . Depois que a funcionalidade foi restaurada, uma lista de pendências de solicitações teve que ser processada, o que levou até 18 de dezembro de 2024 às 16h22 UTC para ser concluído.
LINHA DO TEMPO
18 de dezembro de 2024 16h22 UTC | 18 de dezembro de 2024 08:22 PT
Agradecemos sua paciência enquanto reprocessávamos os dados do Sell que foram perdidos ou afetados durante a janela de impacto. Neste momento, todos os dados devem estar corretos. Entre em contato se você continuar tendo problemas.
13 de dezembro de 2024 23h26 UTC | 13 de dezembro de 2024 15h26 PT
Nossa equipe de engenharia fez um progresso significativo para preencher e reprocessar os dados do Sell que foram perdidos ou afetados durante a janela de impacto; no entanto, ainda existe um pequeno subconjunto de solicitações que exigem mais envolvimento manual para o preenchimento. Estamos investindo mais tempo e esforço para garantir que todos os dados cheguem ao local apropriado e continuaremos nosso trabalho na próxima semana para confirmar a recuperação completa. Agradecemos sua paciência.
09 de dezembro de 2024 22h16 UTC | 06 de dezembro de 2024 14h16 PT
Nossa equipe continua trabalhando para preencher os dados do Sell afetados durante a janela de impacto; no entanto, devido ao volume e ao nosso nível de cuidado e diligência para garantir que os dados corretos sejam incluídos com precisão, isso levará mais tempo para ser concluído. Forneceremos mais atualizações à medida que o preenchimento avança.
06 de dezembro de 2024 14h06 UTC | 06 de dezembro de 2024 06:06 PT
Gostaríamos de fornecer uma atualização sobre o incidente que afetou nossos clientes do Sell em 3 de dezembro de 2024. Nossa equipe continua trabalhando na lista de pendências de dados que ocorreu durante o incidente. Continuaremos a fornecer atualizações assim que possível.
04 de dezembro de 2024 10h27 UTC | 04 de dezembro de 2024 02:27 PT
Nossa equipe está explorando ativamente a abordagem mais eficaz para a lista de pendências de ações resultante do incidente de ontem que afetou o Sell. Compartilharemos atualizações adicionais assim que estiverem disponíveis.
03 de dezembro de 2024 23h44 UTC | 03 de dezembro de 2024 15:44 PT
Nossa equipe de engenharia estabilizou a funcionalidade do Sell e novas solicitações estão sendo processadas conforme o esperado no momento. Estamos trabalhando em nossas opções para processar solicitações que podem ter expirado durante a janela de impacto e forneceremos mais informações quando essa investigação continuar amanhã.
03 de dezembro de 2024 21:47 UTC | 03 de dezembro de 2024 13h47 PT
Nossa equipe continua trabalhando para reduzir a lista de pendências e restaurar a funcionalidade esperada do Sell. Estamos trabalhando para aumentar a capacidade de acelerar a recuperação, mas ainda são esperados alguns atrasos e latência. Forneceremos mais atualizações quando tivermos novas informações para compartilhar.
03 de dezembro de 2024 17h09 UTC | 03 de dezembro de 2024 09:09 PT
Estamos começando a ver algumas melhorias nos problemas que afetam o Sell; no entanto, há uma lista de pendências significativa que estamos trabalhando para resolver e ainda pode haver alguma latência. Continuaremos monitorando a situação para garantir a recuperação total.
03 de dezembro de 2024 15h35 UTC | 03 de dezembro de 2024 07:35 PT
Nossa equipe continua trabalhando nos problemas que afetam o Sell no momento. Eles podem se manifestar como problemas de visibilidade de dados em listas inteligentes, conversão de leads com criação de oportunidades e falhas intermitentes de chamadas feitas. Forneceremos mais atualizações assim que estiverem disponíveis.
03 de dezembro de 2024 14h01 UTC | 03 de dezembro de 2024 06:01 PT
Queremos mantê-lo informado sobre o problema contínuo que afeta determinados recursos, incluindo visibilidade de dados em listas inteligentes, conversão de leads com criação de oportunidades e falhas intermitentes de chamadas feitas. Embora não tenhamos novidades para compartilhar no momento, saiba que nossa equipe está trabalhando diligentemente para resolver o problema o mais rápido possível.
03 de dezembro de 2024 12h14 UTC | 03 de dezembro de 2024 04:14 PT
Nossa equipe está lidando ativamente com a degradação do serviço que afeta recursos específicos. Atualmente, a visibilidade de dados em listas inteligentes, a conversão de leads com criação de oportunidades e as chamadas feitas são afetadas, com as últimas apresentando falhas intermitentes. Embora a maioria dos serviços principais permaneça operacional, alguns problemas podem ser resolvidos recarregando ou tentando novamente.
03 de dezembro de 2024 11h23 UTC | 03 de dezembro de 2024 03:23 AM PT
Nossa equipe está lidando ativamente com a degradação do serviço que afeta recursos específicos, incluindo a visibilidade de dados em listas inteligentes e a conversão de leads com a criação de oportunidades. A maioria dos serviços principais permanece operacional e os problemas com algumas funcionalidades podem ser resolvidos recarregando ou tentando novamente.
03 de dezembro de 2024 10h53 UTC | 03 de dezembro de 2024 02:53 PT
No momento, estamos investigando um problema no qual dados desatualizados podem estar aparecendo em nossos sistemas. Além disso, as tentativas de atualizar os dados durante esse período podem resultar em erros. Nossa equipe está trabalhando diligentemente para resolver esses problemas como prioridade.
POST-MORTEM
Análise da causa raiz
Esse incidente foi causado por um aumento repentino no volume de solicitações que levou a um alto uso de memória em toda a infraestrutura do Sell. Isso resultou em alertas devido à carga excessiva e fez com que várias filas fossem preenchidas até sua capacidade máxima. O sistema responsável por gerenciar esses fluxos de solicitação era reiniciado com frequência e não conseguia atender à demanda, gerando uma lista de pendências crescente e impedindo o processamento de novas solicitações.
Resolução
Para resolver o problema, primeiro tentamos expandir a infraestrutura adicional, mas isso também atingiu rapidamente a capacidade. Em seguida, configuramos um novo cluster com recursos adicionais para gerenciar com eficiência o tráfego em tempo real. Isso nos permitiu estabilizar as operações e restaurar a funcionalidade normal enquanto trabalhávamos para limpar a lista de pendências de solicitações na infraestrutura antiga.
Itens de correção
- Remover filas de notificação desatualizadas: Decidimos eliminar filas de notificação desnecessárias para a comunicação com os clientes. Isso reduz o número de solicitações processadas pela infraestrutura relevante.
- Ferramentas de processamento de mensagens aprimoradas: Foram feitas melhorias nas ferramentas existentes para aumentar a eficiência no gerenciamento de mensagens, fornecendo novamente mais capacidade de processamento de solicitações.
- Estabelecer alertas adicionais: Novos alertas de monitoramento foram criados para acompanhar o desempenho do sistema e evitar o uso excessivo de memória.
- Definir limites de conexão: Implementamos limites no número de conexões com aplicativos específicos para evitar sobrecarga e garantir um gerenciamento de tráfego mais tranquilo.
PARA OBTER MAIS INFORMAÇÕES
Para obter informações atuais sobre o status do sistema do seu Zendesk, consulte nossa página de status do sistema. O resumo de nossa investigação post mortem geralmente é publicado aqui alguns dias após o término do incidente. Se você tiver mais perguntas sobre esse incidente, entre em contato com o suporte ao cliente Zendesk.
Aviso sobre a tradução: este artigo foi traduzido por um software de tradução automática para oferecer a você uma compreensão básica do conteúdo. Medidas razoáveis foram tomadas para fornecer uma tradução precisa, no entanto, a Zendesk não garante a precisão da tradução.
Em caso de dúvidas relacionadas à precisão das informações contidas no artigo traduzido, consulte a versão oficial do artigo em inglês.
0 comentários