RIEPILOGO
Il 1° dicembre 2024, dalle 4:00 UTC alle 20:00 UTC del 3 dicembre, i clienti Sell in più pod hanno riscontrato problemi con funzionalità come la visibilità dei dati negli elenchi intelligenti, la conversione dei clienti potenziali con la creazione di trattative e le chiamate in uscita, con queste ultime a intermittenza errori. Una volta ripristinata la funzionalità, è stato necessario elaborare un backlog di richieste, che ha richiesto fino alle 16:22 UTC del 18 dicembre 2024.
CRONOLOGIA
18 dicembre 2024 16:22 UTC | 18 dicembre 2024 08:22 PT
Grazie per la pazienza dimostrata nel rielaborare i dati Sell che non erano stati rilevati o che erano stati interessati durante la finestra di impatto. Al momento, tutti i dati dovrebbero essere corretti. Se il problema persiste, contattaci.
13 dicembre 2024 23:26 UTC | 13 dicembre 2024 15:26 PT
Il nostro team tecnico ha compiuto progressi significativi nel backfill e nel rielaborare i dati Sell che erano stati persi o interessati durante la finestra di impatto; tuttavia, rimane ancora un piccolo sottoinsieme di richieste che richiedono un maggiore coinvolgimento manuale per il backfill. Stiamo dedicando ulteriore tempo e impegno per garantire che tutti i dati raggiungano la posizione appropriata e continueremo il nostro lavoro la prossima settimana per confermare il ripristino completo. Grazie per la pazienza dimostrata nel frattempo.
9 dicembre 2024 22:16 UTC | 6 dicembre 2024 14:16 PT
Il nostro team continua a lavorare per riempire i dati Sell interessati durante la finestra di impatto; tuttavia, dato il volume e il livello di attenzione e diligenza nel garantire che i dati corretti siano inclusi in modo accurato, il completamento dell’operazione richiederà del tempo. Ci assicureremo di fornire ulteriori aggiornamenti man mano che il backfill procede.
6 dicembre 2024 14:06 UTC | 06 dicembre 2024 06:06 PT
Vorremmo fornire un aggiornamento in merito all’incidente che ha avuto un impatto sui nostri clienti Sell il 3 dicembre 2024. Il nostro team continua a lavorare sul backlog di dati che si è verificato durante l’incidente. Continueremo a fornire aggiornamenti il prima possibile.
4 dicembre 2024 10:27 UTC | 4 dicembre 2024 02:27 PT
Il nostro team sta valutando attivamente l’approccio più efficace al backlog di azioni risultanti dall’incidente di ieri che ha colpito Sell. Condivideremo ulteriori aggiornamenti non appena saranno disponibili.
3 dicembre 2024 23:44 UTC | 3 dicembre 2024 15:44 PT
Il nostro team tecnico ha stabilizzato la funzionalità Sell e al momento le nuove richieste vengono elaborate come previsto. Stiamo esaminando le nostre opzioni per elaborare le richieste che potrebbero essere scadute durante la finestra di impatto e forniremo ulteriori informazioni quando questa indagine continuerà domani.
3 dicembre 2024 21:47 UTC | 3 dicembre 2024 13:47 PT
Il nostro team continua a lavorare per ridurre il backlog e ripristinare la funzionalità Sell prevista. Stiamo lavorando per aumentare la capacità per accelerare il ripristino, ma sono ancora previsti alcuni ritardi e latenza. Forniremo ulteriori aggiornamenti quando avremo nuove informazioni da condividere.
3 dicembre 2024 17:09 UTC | 3 dicembre 2024 09:09 PT
Stiamo iniziando a notare qualche miglioramento nei problemi che interessano Sell; tuttavia, stiamo lavorando per risolvere un arretrato significativo e potrebbe verificarsi ancora una certa latenza. Continueremo a monitorare la situazione per garantire il pieno recupero.
3 dicembre 2024 15:35 UTC | 3 dicembre 2024 07:35 PT
Il nostro team continua a lavorare sui problemi che attualmente interessano Sell. Questi possono manifestarsi come problemi di visibilità dei dati negli elenchi intelligenti, conversione dei clienti potenziali con la creazione di trattative e interruzioni intermittenti delle chiamate in uscita. Forniremo ulteriori aggiornamenti non appena disponibili.
3 dicembre 2024 14:01 UTC | 3 dicembre 2024 06:01 PT
Vogliamo tenerti informato in merito al problema in corso che interessa alcune funzioni, tra cui la visibilità dei dati negli elenchi intelligenti, la conversione dei clienti potenziali con la creazione di trattative e le chiamate in uscita intermittenti non riuscite. Anche se al momento non abbiamo nuovi sviluppi da condividere, il nostro team sta lavorando diligentemente per risolvere la questione il più rapidamente possibile.
3 dicembre 2024 12:14 UTC | 3 dicembre 2024 04:14 PT
Il nostro team sta affrontando attivamente il degrado del servizio che interessa funzionalità specifiche. Attualmente, la visibilità dei dati negli elenchi intelligenti, la conversione dei clienti potenziali con la creazione di trattative e le chiamate in uscita sono interessate, con errori intermittenti in queste ultime. Sebbene la maggior parte dei servizi di base rimanga operativa, spesso alcuni problemi possono essere risolti ricaricando o riprovando.
3 dicembre 2024 11:23 UTC | 3 dicembre 2024 03:23 PT
Il nostro team sta affrontando attivamente il degrado del servizio che influisce su funzionalità specifiche, tra cui la visibilità dei dati negli elenchi intelligenti e la conversione dei clienti potenziali con la creazione di trattative. La maggior parte dei servizi di base rimane operativa e spesso i problemi con alcune funzionalità possono essere risolti ricaricando o riprovando.
3 dicembre 2024 10:53 UTC | 3 dicembre 2024 02:53 PT
Stiamo esaminando un problema a causa del quale i dati non aggiornati potrebbero apparire nei nostri sistemi. Inoltre, i tentativi di aggiornamento dei dati durante questo periodo potrebbero causare errori. Il nostro team sta lavorando diligentemente per risolvere questi problemi in via prioritaria.
POST-MORTEM
Analisi della causa principale
Questo incidente è stato causato da un improvviso aumento del volume delle richieste che ha portato a un utilizzo elevato della memoria nell’infrastruttura Sell. Ciò ha comportato la generazione di avvisi a causa del carico eccessivo e il riempimento di più code fino alla capacità massima. Il sistema responsabile della gestione di questi flussi di richieste si riavviava frequentemente e non riusciva a tenere il passo con la domanda, causando un aumento del backlog e impedendo l’elaborazione di nuove richieste.
Soluzione
Per risolvere il problema, abbiamo prima tentato di ampliare l’infrastruttura aggiuntiva, ma anche questa ha rapidamente esaurito la capacità. Abbiamo quindi configurato un nuovo cluster con risorse aggiuntive per gestire in modo efficace il traffico in tempo reale. Questo ci ha permesso di stabilizzare le operazioni e ripristinare la normale funzionalità mentre lavoravamo alla cancellazione del backlog di richieste nella vecchia infrastruttura.
Elementi correttivi
- Rimuovi code di notifica obsolete: Abbiamo deciso di eliminare le code di notifiche non necessarie per le comunicazioni con i clienti. Ciò riduce il numero di richieste elaborate dall’infrastruttura pertinente.
- Migliora gli strumenti di elaborazione dei messaggi: Sono stati apportati miglioramenti agli strumenti esistenti per aumentare l’efficienza nella gestione dei messaggi, fornendo ancora una volta una maggiore capacità di elaborazione delle richieste.
- Crea avvisi aggiuntivi: Sono stati creati nuovi avvisi di monitoraggio per tenere traccia delle prestazioni del sistema e prevenire un utilizzo eccessivo della memoria.
- Imposta limiti di connessione: Abbiamo implementato limiti al numero di connessioni ad applicazioni specifiche per prevenire il sovraccarico e garantire una gestione del traffico più agevole.
PER MAGGIORI INFORMAZIONI
Per informazioni sullo stato attuale del sistema su Zendesk, consulta la nostra pagina sullo stato del sistema. Di solito, il riepilogo della nostra indagine post mortem viene pubblicato qui pochi giorni dopo la fine dell’incidente. Per ulteriori domande su questo incidente, contatta l’assistenza clienti Zendesk.
Avvertenza sulla traduzione: questo articolo è stato tradotto usando un software di traduzione automatizzata per fornire una comprensione di base del contenuto. È stato fatto tutto il possibile per fornire una traduzione accurata, tuttavia Zendesk non garantisce l'accuratezza della traduzione.
Per qualsiasi dubbio sull'accuratezza delle informazioni contenute nell'articolo tradotto, fai riferimento alla versione inglese dell'articolo come versione ufficiale.
0 commenti