RIEPILOGO
Il 23 febbraio 2024, dalle 08:00 UTC alle 17:26 UTC, i clienti Support di tutti i pod hanno riscontrato il problema per cui non veniva ricevuta alcuna risposta tramite la funzione Conversazione laterale.
Cronologia
13:12 UTC | 05:12 PT
Stiamo esaminando le segnalazioni di problemi di aggiornamento dei messaggi con le conversazioni laterali in più pod in Support. L’indagine è in corso. Grazie per la pazienza.
13:34 UTC | 05:34 PT
Ora abbiamo distribuito una versione precedente della piattaforma e abbiamo iniziato a vedere la normale elaborazione delle email. Continuiamo il monitoraggio. Un altro aggiornamento tra 30 min o quando avremo ulteriori informazioni da condividere.
14:11 UTC | 06:11 PT
Abbiamo ripristinato correttamente una versione stabile precedente della nostra piattaforma e le email di conversazione laterale in ingresso funzionano come previsto. La maggior parte del backlog è stata risolta e ora stiamo operando a pieno regime. Continuiamo a lavorare sulle attività di recupero rimanenti per confermare se è necessario il ripristino da eventuali messaggi meno recenti che potrebbero non essere stati elaborati. Continueremo a monitorare da vicino la situazione e forniremo un altro aggiornamento tra 1 ora, o prima qualora dovessero esserci sviluppi significativi da segnalare. Grazie per la comprensione continua.
15:17 UTC | 07:17 PT
Stiamo mantenendo la stabilità della piattaforma senza nuovi sviluppi da segnalare al momento. Apprezziamo la tua pazienza mentre continuiamo gli sforzi di recupero. Ora gli aggiornamenti verranno forniti ogni 4 ore o non appena saranno disponibili nuove informazioni.
POST-MORTEM
Analisi della causa principale
Questo incidente è stato causato da un difetto con escape. È stato distribuito un nuovo codice per il servizio email in ingresso che includeva modifiche al modo in cui i token delle credenziali venivano letti dai token a rotazione. Il codice in esecuzione faceva riferimento a un token scaduto, causando il backlog delle email.
Soluzione
Per risolvere il problema, il codice distribuito è stato ripristinato alla versione stabile precedente, le operazioni sono state ripristinate e il backlog email è stato cancellato.
Elementi correttivi
- Aggiorna la configurazione del servizio email per ridurre al minimo la gestione degli errori temporanei ed evitare di rielaborare il lavoro [Pianificato]
- Aggiorna il runbook per impaginare il team più rapidamente in caso di ricorrenza di questo scenario [Pianificato]
PER MAGGIORI INFORMAZIONI
Per informazioni sullo stato attuale del sistema su Zendesk, consulta la nostra pagina sullo stato del sistema. Di solito, il riepilogo della nostra indagine post mortem viene pubblicato qui pochi giorni dopo la fine dell’incidente. Per ulteriori domande su questo incidente, registra un ticket con noi tramite la messaggistica ZBot nel Widget.
Avvertenza sulla traduzione: questo articolo è stato tradotto usando un software di traduzione automatizzata per fornire una comprensione di base del contenuto. È stato fatto tutto il possibile per fornire una traduzione accurata, tuttavia Zendesk non garantisce l'accuratezza della traduzione.
Per qualsiasi dubbio sull'accuratezza delle informazioni contenute nell'articolo tradotto, fai riferimento alla versione inglese dell'articolo come versione ufficiale.
0 commenti