Resumo
Em 23 de julho de 2024, das 10h58 UTC às 14h57 UTC, os clientes no pod 29 não puderam acessar os produtos Zendesk (incluindo a Central de administração) pela bandeja de produtos. Cerca de 1% das solicitações de clientes retornou erros 503 ao acessar recursos autenticados no Guide, Talk, Chat, Explore e Support, e os clientes não conseguiram abrir a bandeja de produtos do Zendesk para alternar entre os produtos. Vários erros foram apresentados na bandeja de produtos e na página principal do navegador.
Linha do tempo
23 de julho de 2024 11h48 UTC | 23 de julho de 2024 04:48 PT
Estamos cientes e trabalhando para atenuar os problemas dos clientes no pod 29 que não conseguem carregar a Central de administração e estão recebendo o erro "A página não está funcionando". Outros produtos também parecem indisponíveis na bandeja de produtos com “Não é possível carregar os produtos Zendesk. Tente novamente”. Próxima atualização em 30 minutos ou quando tivermos mais para compartilhar.
23 de julho de 2024 12h19 UTC | 23 de julho de 2024 05:19 PT
Continuamos trabalhando para resolver os problemas de acesso relacionados a vários produtos para os clientes no pod 29. Agradecemos sua paciência.
23 de julho de 2024 13h22 UTC | 23 de julho de 2024 06:22 PT
Continuamos trabalhando em possíveis soluções para os problemas de acesso que afetam vários produtos para os clientes no Pod 29. Agradecemos sua paciência conosco durante esse período.
23 de julho de 2024 13h46 UTC | 23 de julho de 2024 06:46 PT
Implementamos uma possível correção e estamos percebendo uma diminuição nos erros, além de algumas melhorias ao carregar contas de teste no pod 29. Pedimos que você limpe o cache e os cookies e tente carregar o Zendesk novamente.
23 de julho de 2024 14h06 UTC | 23 de julho de 2024 07:06 PT
Embora tenhamos recebido algumas confirmações positivas de que as coisas estão funcionando, continuamos monitorando possíveis novos picos de erros. Agradecemos sua paciência enquanto aguardamos para marcar esse problema como totalmente resolvido.
23 de julho de 2024 15h19 UTC | 23 de julho de 2024 08:19 PT
Identificamos a causa raiz do problema e revertemos a alteração para evitar mais problemas. Após monitoramento adicional, confirmamos que não há mais erros e estamos marcando esse incidente como totalmente resolvido.
POST-MORTEM
Análise da causa raiz
Esse incidente foi causado pela implementação da nova permissão de gerenciamento de membros da equipe. Esse lançamento permite que agentes em funções personalizadas recebam permissão para visualizar e gerenciar outros membros da equipe e suas atribuições de função como uma permissão independente (anúncio). Essa implementação levou a um grande aumento nas solicitações para o serviço de permissões internas subjacente, resultando na saturação da capacidade de seu cluster de banco de dados. Como resultado desse tráfego, o cluster atingiu sua capacidade máxima de largura de banda de rede, causando uma falha de rede entre o cluster e os servidores de aplicativos de nosso serviço.
Resolução
Para corrigir esse problema, nossa equipe inicialmente aumentou a capacidade da instância do banco de dados do serviço de permissões para fornecer recuperação em curto prazo. Depois que a causa principal foi identificada, nossos engenheiros reverteram a alteração no código do recurso de permissões.
Itens de correção
- Reduzir o tráfego de rede das verificações de permissões [Em andamento]
- Monitores e alertas adicionais para detectar aumentos de tráfego [Programado]
- Investigue o dimensionamento correto da capacidade do banco de dados de serviço de permissões [Programado]
Informações adicionais
Para obter informações atuais sobre o status do sistema do seu Zendesk, consulte nossa página de status do sistema. O resumo de nossa investigação post mortem geralmente é publicado aqui alguns dias após o término do incidente. Se você tiver mais perguntas sobre esse incidente, entre em contato com o suporte ao cliente Zendesk.
Aviso sobre a tradução: este artigo foi traduzido por um software de tradução automática para oferecer a você uma compreensão básica do conteúdo. Medidas razoáveis foram tomadas para fornecer uma tradução precisa, no entanto, a Zendesk não garante a precisão da tradução.
Em caso de dúvidas relacionadas à precisão das informações contidas no artigo traduzido, consulte a versão oficial do artigo em inglês.