RIEPILOGO
Il 16 novembre 2023, dalle 18:02 alle 20:00 UTC, alcuni clienti Support nei pod 13, 17, 19, 23, 28 e 29 hanno riscontrato ritardi o un’interruzione totale nella ricezione delle email in ingresso. La durata del ritardo variava da 15 a 60 minuti tra l’invio delle email e la creazione dei ticket in Zendesk tramite i servizi gestiti da Google.
Cronologia
18:53 UTC | 10:53 PT
Stiamo esaminando le segnalazioni di email in ingresso non elaborate per i clienti nei pod 28 e 29. Forniremo ulteriori informazioni a breve.
18:57 UTC | 10:57 PT
Abbiamo confermato un problema che causa ritardi nell’elaborazione delle email in ingresso per i clienti nei pod 13, 19, 23, 28 e 29. Il nostro team sta indagando e forniremo ulteriori aggiornamenti non appena saranno disponibili.
19:33 UTC | 11:33 PT
Il nostro team continua a indagare sul problema che causa ritardi nell’elaborazione delle email in ingresso nei pod 13, 17, 19, 23, 28 e 29. Stiamo lavorando diligentemente per mitigare l’impatto e ci assicureremo di condividere nuove informazioni il prima possibile.
19:54 UTC | 11:54 PT
Stiamo iniziando a notare un miglioramento del problema che causa ritardi nell’elaborazione delle email in ingresso nei pod 13, 17, 19, 23, 28 e 29. Il nostro team continuerà a monitorare per garantire il completo recupero.
21:14 UTC | 13:14 PT
Abbiamo risolto il problema che causava ritardi nelle email in ingresso per i clienti nei pod 13, 17, 19, 23, 28 e 29 e le email in ingresso vengono elaborate come previsto al momento. Grazie per la pazienza dimostrata durante la nostra indagine.
POST-MORTEM
Analisi della causa principale
Questo incidente è stato causato da problemi di connettività con Gmail da parte del servizio Mail Fetcher, che hanno interrotto l’elaborazione della posta in ingresso in Support, per cui le risposte 302 spostate di Gmail sono state interpretate come errori dal sondaggio di attività, indicando all’orchestratore del contenitore che i pod non erano integri. Ciò ha portato l’agente di orchestrazione a sostituire i pod e a interrompere l’elaborazione della posta nei contenitori associati, causando ritardi o interruzioni della posta in ingresso.
Soluzione
Per risolvere il problema, il traffico di posta in ingresso è stato ripristinato dopo che Gmail ha smesso di bloccare tali controlli di integrità, consentendo così alle email in ingresso di Support di completare la creazione dei propri pod e ricominciare a elaborare la posta. Non molto tempo dopo, le code di posta in ingresso si sono bloccate e il traffico ha iniziato a fluire normalmente.
Elementi correttivi
- Migliora gli strumenti di implementazione esistenti per i controlli di integrità delle email.
- Crea ulteriori avvisi.
- Aggiungi righe di codice di correzione in applicazioni specifiche.
PER MAGGIORI INFORMAZIONI
Per informazioni sullo stato attuale del sistema su Zendesk, consulta la nostra pagina sullo stato del sistema. Di solito, il riepilogo della nostra indagine post mortem viene pubblicato qui pochi giorni dopo la fine dell’incidente. Per ulteriori domande su questo incidente, registra un ticket con noi tramite la messaggistica ZBot nel Widget.
Avvertenza sulla traduzione: questo articolo è stato tradotto usando un software di traduzione automatizzata per fornire una comprensione di base del contenuto. È stato fatto tutto il possibile per fornire una traduzione accurata, tuttavia Zendesk non garantisce l'accuratezza della traduzione.
Per qualsiasi dubbio sull'accuratezza delle informazioni contenute nell'articolo tradotto, fai riferimento alla versione inglese dell'articolo come versione ufficiale.