ZUSAMMENFASSUNG
Am 27. August 2024 von 16:30 UTC bis 22:30 UTC kam es bei Support-Kunden in Pod 19, 20 und 27 zu Verzögerungen beim Starten von Webhooks und Auslösern, was sich auf Ticketaktualisierungen und die Kommunikation mit Endbenutzern auswirkte.
Zeitleiste
27. August 2024 20:03 Uhr UTC | 27. August 2024 13:03 Uhr PT
Wir untersuchen Berichte über verzögerte Support-Auslöser und Webhooks-Auslöser. Nächste Aktualisierung in 30 Minuten bzw. wenn neue Informationen verfügbar sind.
27. August 2024 20:27 UTC | 27. August 2024 13:27 Uhr PT
Die Webhook- und Auslöserverzögerungen wirken sich auf Support-Kunden auf Pod 19, 20 und 27 aus. Unsere Ingenieure sind gerade dabei, Nachforschungen anzustellen. Nächste Aktualisierung in 30 Minuten bzw. wenn neue Informationen verfügbar sind.
27. August 2024 20:56 UTC | 27. August 2024 13:56 PT
Unsere Techniker untersuchen weiterhin die Webhook- und Auslöserverzögerungen, die sich auf Support-Kunden auf Pod 19, 20 und 27 auswirken. Nächste Aktualisierung in 1 Stunde bzw. wenn neue Informationen verfügbar sind.
27. August 2024 21:24 UTC | 27. August 2024 14:24 Uhr PT
Wir sehen Verbesserungen bei Webhook-Verzögerungen in Pod 19 und arbeiten weiter an der Verarbeitung des Webhook-Rückstands in Pod 20 und 27. Nächste Aktualisierung in 1 Stunde bzw. wenn neue Informationen verfügbar sind.
27. August 2024 10:03 UTC | 27. August 2024 15:03 Uhr PT
Der Rückstand an Webhooks in Pod 19 und 20 wurde vollständig verarbeitet, und auf diesen Pods sollte es zu keinen Verzögerungen mehr kommen. Wir verarbeiten noch immer den Rückstand an Webhooks in Pod 27 und werden Sie darüber informieren, sobald dieser Rückstand behoben ist.
27. August 2024 22:40 Uhr UTC | 27. August 2024 15:40 Uhr PT
Der Rückstand an Webhooks auf den Pods 19, 20 und 27 wurde vollständig verarbeitet, und auf diesen Pods sollte es zu keinen Verzögerungen mehr kommen. Das Problem ist jetzt vollständig gelöst.
POST-MORTEM
Ursachenanalyse
Der Vorfall wurde hauptsächlich durch einen plötzlichen Anstieg des Datenverkehrs aufgrund des Massenimports von Benutzern durch einen großen Kunden verursacht. Dieser Anstieg führte dazu, dass das Webhooks-System sein Durchsatzlimit erreichte, was zu erheblichen Verzögerungen führte. Darüber hinaus konnte der Mechanismus zur automatischen Skalierung in Pod 27 das erhöhte Datenaufkommen nicht ausreichend bewältigen, was die Verzögerungen noch weiter verschob.
Lösung
Um dieses Problem zu beheben, wurden der Webhooks-Disaster und die Untrusted Egress Zone (UEZ) skaliert, um den Anstieg des Verkehrsaufkommens zu bewältigen. Außerdem wurde der betreffende Kunde gebeten, seinen Betrieb zu verlangsamen. Mit den erforderlichen Skalierungsanpassungen begann sich der Rückstand zu verringern, und in allen betroffenen Pods wurde nach und nach der normale Service wiederhergestellt.
Korrekturelemente
- Definieren Sie horizontale Richtlinien zur automatischen Skalierung für Webhooks-Services. [IN Bearbeitung]
- Untersuchen Sie die Erweiterung der ratenlimitierenden Logik, um einen einzelnen Kunden mit vielen Subdomänen zu berücksichtigen. [PLANEN]
- Untersuchen und beheben Sie das Problem mit der automatischen Skalierung der sicheren Ausgangsstufe in Pod 27. [geplant]
- Optimieren Sie den Bereitstellungs- und Konfigurationsprozess, um Reibung bei dringenden Lösungen zu vermeiden. [IN Bearbeitung]
- Implementieren Sie subdomänenspezifische Notauslöser für Webhooks. [IN Bearbeitung]
- Fügen Sie Überwachungswarnungen hinzu, die markieren, wenn der Rückstand oder die Lieferlatenz von Webhooks zu groß wird. [PLANEN]
- Dokumentieren Sie die Ratenlimits von Webhooks öffentlich, um Kunden zu informieren und den Datenverkehr präventiv zu steuern. [PLANEN]
WEITERE INFOS
Aktuelle Systemstatusinformationen zu Ihrem Zendesk finden Sie auf der Systemstatusseite. Die Zusammenfassung unserer Post-mortem-Untersuchung wird in der Regel hier einige Tage nach Abschluss des Vorfalls gepostet. Wenn Sie weitere Fragen zu diesem Vorfall haben, wenden Sie sich an den Zendesk-Kundensupport.
Hinweis zur Übersetzung: Dieser Beitrag wurde mit automatischer Übersetzungssoftware übersetzt, um dem Leser ein grundlegendes Verständnis des Inhalts zu vermitteln. Trotz angemessener Bemühungen, eine akkurate Übersetzung bereitzustellen, kann Zendesk keine Garantie für die Genauigkeit übernehmen.
Sollten in Bezug auf die Genauigkeit der Informationen im übersetzten Beitrag Fragen auftreten, beziehen Sie sich bitte auf die englische Version des Beitrags, die als offizielle Version gilt.
0 Kommentare