ZUSAMMENFASSUNG
Am 7. August 2024 von 17:00 UTC bis zum 8. August 2024 um 16:45 UTC traten bei einigen Kunden in Pod 17, 18, 28 und 29 Fehler auf, wenn sie versuchten, mit der Explore-Funktion neue Berichte zu erstellen. Dies beeinträchtigte die Generierung von Insights und den Zugriff auf kritische Datenberichte.
Zeitleiste
08. August 2024 15:35 UTC | 08. August 2024, 08:35 Uhr PT
Wir untersuchen Berichte von Explore-Kunden mit einer großen Anzahl von Datasets, die nicht in der Lage sind, neue Berichte und Datasets zu erstellen. Als Workaround können Sie einen neuen Bericht erstellen, indem Sie einen vorhandenen Bericht klonen und dann bearbeiten. Es ist aber weiterhin nicht möglich, neue Datasets zu erstellen. Nächste Aktualisierung in 30 Minuten bzw. wenn neue Informationen verfügbar sind.
08. August 2024 16:00 Uhr UTC | 08. August 2024, 09:00 Uhr PST
Unsere Ingenieure untersuchen weiterhin ein Problem, das sich auf die Erstellung neuer Explore-Berichte und -Datasets auswirkt. Wir haben den Umfang der Auswirkungen auf die Pods 17, 18, 28, 29 und 31 eingegrenzt. Nächste Aktualisierung in einer Stunde bzw. wenn neue Informationen verfügbar sind.
08. August 2024 16:54 UTC | 08. August 2024, 09:54 Uhr PT
Unsere Ingenieure konzentrieren sich weiterhin auf die Behebung des Problems, das die Erstellung neuer Explore-Berichte und -Datasets beeinträchtigt. Wir werden das nächste Update in 2 Stunden bereitstellen bzw. wenn wir neue Informationen haben.
08. August 2024 17:21 UTC | 08. August 2024, 10:21 Uhr PT
Unsere Ingenieure haben eine Korrektur vorgenommen und wir haben bestätigt, dass Sie jetzt neue Berichte und Datasets erstellen können. Das Problem ist jetzt vollständig gelöst. Bitte teilen Sie uns mit, wenn das Problem weiterhin auftritt.
POST-MORTEM
Ursachenanalyse
Dieser Vorfall wurde durch einen Leistungseinbruch nach einem Upgrade der Datenbankinfrastruktur durch unseren Partner verursacht. Durch das Upgrade wurde das Caching von Querys entfernt, auf das sich unser System zuvor stützte. Dadurch wurden bestimmte für die Explore-Funktion wichtige Querys erheblich verlangsamt.
Lösung
Um dieses Problem zu beheben, analysierten wir die problematischen Querys und implementierten effektive Indizierungsstrategien. Durch diese sofortige Aktion wurde die Leistung der Query auf das erwartete Niveau zurückgeführt und die Fehler, die bei den Kunden aufgetreten waren, behoben.
Korrekturelemente
- Verbessern Sie das Überwachungssystem mit spezifischen Benachrichtigungen rund um SQL-Query-Latenzen, um Leistungsprobleme frühzeitig zu erkennen.
- Andere Teams über die Einstellung des Query-Cache informiert haben, um sicherzustellen, dass sie über die möglichen Auswirkungen informiert sind und vorbeugende Maßnahmen ergreifen können.
- Untersuchen Sie, welche Querys optimiert werden, indem Sie „nicht in“-Anweisungen durch boolesche Werte ersetzen, um sie an die neuen Datenbankversionen anzugleichen.
- Implementieren von Caching-Lösungen mit Elastic Cache oder ProxySQL für wiederholte Query-Ergebnisse untersuchen, um ähnliche Probleme in Zukunft zu vermeiden.
- Dokumentieren Sie alle Änderungen, Verbesserungen und Prozesse in Confluence sorgfältig, damit Sie Ihr Wissen teilen und sich auf ähnliche zukünftige Ereignisse vorbereiten können.
WEITERE INFOS
Aktuelle Systemstatusinformationen zu Ihrem Zendesk finden Sie auf der Systemstatusseite. Die Zusammenfassung unserer Post-mortem-Untersuchung wird in der Regel hier einige Tage nach Abschluss des Vorfalls gepostet. Wenn Sie weitere Fragen zu diesem Vorfall haben, wenden Sie sich an den Zendesk-Kundensupport.
Hinweis zur Übersetzung: Dieser Beitrag wurde mit automatischer Übersetzungssoftware übersetzt, um dem Leser ein grundlegendes Verständnis des Inhalts zu vermitteln. Trotz angemessener Bemühungen, eine akkurate Übersetzung bereitzustellen, kann Zendesk keine Garantie für die Genauigkeit übernehmen.
Sollten in Bezug auf die Genauigkeit der Informationen im übersetzten Beitrag Fragen auftreten, beziehen Sie sich bitte auf die englische Version des Beitrags, die als offizielle Version gilt.