RESUMO
Entre 08:09 UTC em 7 de novembro de 2023 e 2:20 UTC em 21 de novembro de 2023, os clientes da Zendesk em todos os pods tiveram atrasos na recepção de emails de saída para usuários finais com endereços do Gmail ou outros domínios de email gerenciados pelo Google.
Linha do tempo
19:53 UTC | 11:53 PT (8 de novembro)
Confirmamos um problema que está causando alguns atrasos na recepção de e-mails enviados para usuários finais com endereços do Gmail ou domínios de e-mail gerenciados pelo Google. Será difícil diagnosticar quais e-mails serão afetados; no entanto, estamos trabalhando com o Google para mitigar esse impacto e resolver o problema o mais rápido possível.
04:23 UTC | 20:23 PT (10 de novembro)
Continuamos a trabalhar de várias maneiras (inclusive com nossos parceiros no Google) para diagnosticar o atraso na entrega de alguns emails de saída para domínios de email gerenciados pelo Google para alguns clientes. Embora a grande maioria dos emails esteja sendo entregue a esses domínios, reconhecemos o impacto que a pequena proporção de emails atrasados pode ter em algumas funções e estamos trabalhando duro para aproximar esse problema da resolução. Agradecemos sua paciência enquanto trabalhamos nesse problema.
20:02 UTC | 12:03 PT (13 de novembro)
Nossas equipes ainda estão trabalhando para resolver os atrasos na entrega de emails de saída para alguns domínios de email gerenciados pelo Google. Forneceremos informações adicionais conforme nossa investigação avança e agradecemos sua paciência enquanto isso.
03:18 UTC | 19:18 PT (15 de novembro)
Como parte de nossas investigações em andamento, tomamos medidas para confirmar que nenhum tráfego indesejável está sendo gerado de nossos endereços IP de saída do Zendesk. Também estamos colaborando ativamente com nosso provedor de serviços de email para examinar e suspender quaisquer limites de taxa impostos, se houver. Entendemos o impacto que a entrega de e-mail atrasada teria em suas operações e estamos analisando todos os meios para resolver isso o mais rápido possível. Solicitamos e agradecemos sua paciência.
13:10 UTC | 05:10 PT (16 de novembro)
Continuamos a trabalhar de perto com nosso provedor de serviços de e-mail e nosso foco continua sendo abordar os limites de taxa que afetam nosso serviço. Reconhecendo as implicações significativas que o atraso na entrega de emails pode ter em suas operações, continuamos explorando todas as soluções possíveis para corrigir esse problema. Agradecemos sua compreensão e sua paciência enquanto trabalhamos para uma resolução.
13:24 UTC | 05:24 PT (17 de novembro)
Nenhuma alteração significativa desde nossa última atualização. Ainda estamos em discussões ativas com nossos parceiros de email para abordar os limites da taxa de entrega de email e processar e entregar os emails conforme o esperado o mais rápido possível. Prevemos receber informações mais detalhadas durante o AMER ainda hoje. Agradecemos sua paciência enquanto trabalhamos para uma resolução.
20:10 UTC | 12:10 PT (17 de novembro)
Fizemos algum progresso ao trabalhar com nossos provedores e descobrimos uma solução que, acreditamos, deve resolver os atrasos no processamento de emails enviados. Desde o seu lançamento, vimos algumas recuperações e melhorias significativas e esperamos que esse progresso persista até a resolução total. Ainda há uma fila de pendências que estamos observando diminuir consistentemente, portanto, alguns pequenos atrasos ainda podem ocorrer até que toda a lista de pendências seja processada. Nossas equipes estão monitorando de perto a situação e forneceremos informações adicionais enquanto continuamos nosso trabalho para resolver esse incidente.
23:10 UTC | 15:10 PT (17 de novembro)
À medida que monitoramos e observamos melhorias na taxa de processamento bem-sucedido de e-mails enviados, aumentamos nossa confiança de que a correção que o Google lançou hoje poderia resolver o problema enfrentado nos últimos dias. Nossas equipes estenderão seu monitoramento ao longo do fim de semana e no início da próxima semana, trabalhando para buscar medidas adicionais para acelerar o processamento da lista de pendências existente de emails enviados. Planejamos acompanhar nossos resultados na segunda-feira. Agradecemos sua paciência enquanto trabalhamos para resolver esse incidente.
22:32 UTC | 14h32 PT (20 de novembro)
Após o monitoramento durante o fim de semana, ainda estamos vendo uma melhoria na taxa de sucesso do processamento de emails de saída para os domínios de email gerenciados pelo Google e mais uma confirmação de que a correção lançada pelo Google está restaurando o comportamento esperado. Nossas equipes estão concluindo o trabalho de implementar medidas adicionais para acelerar a drenagem de e-mails acumulados e garantir que todas as mensagens enviadas sejam recebidas. Agradecemos novamente sua paciência durante essa investigação e faremos o acompanhamento com atualizações adicionais à medida que avançamos para a semana e procuramos resolver esse incidente.
14:48 UTC | 06:48 PT (21 de novembro)
Gostaríamos de informar que a lista de pendências do Gmail foi totalmente processada. O Google não está mais limitando nossa taxa e todos os e-mails enviados estão sendo entregues conforme o esperado. Continuaremos monitorando até a resolução total. Agradecemos sua compreensão durante esse período.
16:35 UTC | 8:34 PT (21 de novembro)
Desde que abordamos o restante da lista de pendências do Gmail, nossas equipes estão confiantes com a entrega bem-sucedida de emails de saída para domínios gerenciados pelo Google e, como tal, esse incidente será resolvido agora. Agradecemos sua paciência enquanto concluíamos nossa investigação.
POST-MORTEM
Análise da causa raiz
No passado, um subconjunto de nossos endereços IP era listado em uma lista de bloqueios por um período muito curto. Como resultado, o Google aplicou um limite de taxa a todo o nosso tráfego de e-mail originado de todos os nossos IPs globais, em vez de apenas ao subconjunto de endereços IP listados na lista de bloqueios.
Resolução
Trabalhamos com o Google e sua equipe conseguiu aplicar uma correção que aliviou a tensão da limitação de taxa que havia sido aplicada anteriormente.
Itens de correção
- Adicione um limite de taxa interna aos domínios do Google para controlar com mais precisão o tráfego enviado para o Gmail.
- Crie um ciclo de feedback que analise de maneira inteligente e tente novamente o tráfego de clientes marcado como spam.
- Refine o processo de lançamento que atenua o impacto do spam.
- Crie novos alertas mais sensíveis a códigos de erro.
- Melhore os recursos de detecção de spam do Zendesk.
PARA OBTER MAIS INFORMAÇÕES
Para obter informações atuais sobre o status do sistema do seu Zendesk, consulte nossa página de status do sistema. O resumo de nossa investigação post mortem geralmente é publicado aqui alguns dias após o término do incidente. Se você tiver mais perguntas sobre esse incidente, registre um ticket conosco por mensagens do ZBot no Widget.
Aviso sobre a tradução: este artigo foi traduzido por um software de tradução automática para oferecer a você uma compreensão básica do conteúdo. Medidas razoáveis foram tomadas para fornecer uma tradução precisa, no entanto, a Zendesk não garante a precisão da tradução.
Em caso de dúvidas relacionadas à precisão das informações contidas no artigo traduzido, consulte a versão oficial do artigo em inglês.
0 comentários