ZUSAMMENFASSUNG
Zwischen dem 9. November 2023, 3:00 Uhr UTC und dem 10. November 2023, 10:00 Uhr UTC kam es bei Explore-Kunden in der Region USA (mehrere Pods) zu Verzögerungen bei der Datenaktualisierung für historische Datasets.
Zeitlicher Ablauf
19:18 UTC | 11:18 PT (9. November)
Bei Explore-Konten in der Region USA kommt es zurzeit zu Verzögerungen bei der Datenaktualisierung für historische Datasets. Die Explore-Query- und -Berichtsfunktionen sind wie gewohnt verfügbar; Echtzeit-Datasets sind nicht betroffen. Die Untersuchung der Ursache ist noch nicht abgeschlossen, daher haben wir noch keine voraussichtliche Geschäftszeit, um zu sagen, wann die Verzögerung behoben sein wird.
11:27 UTC | 03:27 PT (10. November)
Wir haben einen Fehler behoben, der die Verzögerungen bei der Datenaktualisierung von historischen Datasets in der Explore-Region USA behoben hat. Für Kunden sollten keine Verzögerungen mehr auftreten. Wir betrachten diesen Vorfall nun als gelöst. Vielen Dank für Ihre Mitarbeit.
POST-MORTEM
Ursachenanalyse
Der Vorfall wurde dadurch verursacht, dass der Kontostatistikdienst keine korrekten Informationen über das Kontodatenvolumen für mehrere Konten lieferte. Das führte dazu, dass Konten kleiner waren als ihre tatsächliche Größe. Dies wiederum führte dazu, dass den ETL-Systemen von Explore weniger Rechenressourcen zur Verfügung standen, als für die Verarbeitung regulärer Differenzaktualisierungen dieser Konten erforderlich war. Dies führte zu einer langsameren Verarbeitung und in einigen Fällen zu Fehlern in der Datenpipeline oder zu einem Timeout.
Resolution
Um dieses Problem zu beheben, wurde der Kontostatistik-Service vorübergehend auf eine Fallback-Datenquelle mit korrekten Kontodaten umgestellt. Dadurch wurde die korrekte Ressourcenzuweisung in den Explore ETL-Systemen wiederhergestellt. Die Explore-Ingenieure haben außerdem manuell mehr Ressourcen bereitgestellt, um Konten mit langen Datenverarbeitungsverzögerungen freizugeben.
Korrekturelemente
- Zusätzliche Benachrichtigungen für Spitzen bei der Änderung der Kontogrößenklassifizierung erstellen.
- Untersuchen Sie, ob die Pipeline-Ressourcenzuweisung ersetzt werden könnte.
- Fügen Sie eine Validierungsphase zu Datenpipelines hinzu, um fehlende oder anomale Quelldaten zu erkennen.
WEITERE INFOS
Aktuelle Systemstatusinformationen zu Ihrem Zendesk finden Sie auf der Systemstatusseite. Die Zusammenfassung unserer Post-mortem-Untersuchung wird in der Regel hier einige Tage nach Abschluss des Vorfalls gepostet. Wenn Sie weitere Fragen zu diesem Vorfall haben, reichen Sie bitte über ZBot Messaging im Widget ein Ticket bei uns ein.
Hinweis zur Übersetzung: Dieser Beitrag wurde mit automatischer Übersetzungssoftware übersetzt, um dem Leser ein grundlegendes Verständnis des Inhalts zu vermitteln. Trotz angemessener Bemühungen, eine akkurate Übersetzung bereitzustellen, kann Zendesk keine Garantie für die Genauigkeit übernehmen.
Sollten in Bezug auf die Genauigkeit der Informationen im übersetzten Beitrag Fragen auftreten, beziehen Sie sich bitte auf die englische Version des Beitrags, die als offizielle Version gilt.
0 Kommentare