Überblick
Vom 2. November 2023, 11:54 UTC bis zum 6. November 2023, 19:00 UTC konnte eine Untergruppe von Guide-Kunden in allen Pods, die Host-Mapping-Subdomänen verwenden, ihr Help Center möglicherweise nicht laden.
Ursachenanalyse
Die Ursache des Vorfalls war ein Ausfall bei unserem primären CDN-Anbieter, der einen internen Dienst beeinträchtigte, der für die Aktualisierung der Domänen-Routing-Konfiguration zuständig ist. Dieser Vorfall ereignete sich an zwei Tagen, am 2. und 3. November 2023.
Ein sekundärer Einflussfaktor war, dass unser Konfigurationsdienst für die Domänenverteilung den Status angepasster Hostnamen nicht überprüfte, bevor er sie als ordnungsgemäß konfiguriert markierte. Dies führte zu Fehlern, wenn die angepassten Hostnamen aufgrund eines Ausfalls unseres primären CDN-Anbieters nicht rechtzeitig validiert wurden.
Zu Beginn dieses Vorfalls begann die API des CDN-Anbieters eine Störung zu bewirken, die dazu führte, dass unsere Domänenverteilungskonfiguration keine TLS-Zertifikate aktualisieren konnte.
Vorhandene Subdomänen mit Host-Mapping waren erst dann betroffen, wenn ihre TLS-Zertifikate abgelaufen waren, und neue Subdomänen funktionierten noch, da sie nicht durch das betroffene CDN weitergeleitet wurden. Am 3. November beschloss der CDN-Anbieter die API-Probleme, aber es gab Fehler bei der Validierung angepasster Hostnamen ( der eindeutige Teil eines Domänennamens). Dies führte zu Fehlern bei neuen Domänen, da ihre angepassten Hostnamen nicht umgehend validiert wurden.
Lösung
Um dieses Problem zu beheben, waren mehrere Schritte erforderlich:
1. Die Domänenweiterleitungskonfiguration wurde vorübergehend deaktiviert, um weitere Probleme zu verhindern.
2. Die potenziell von dem Problem betroffenen Domänen wurden präventiv in eine CDN-Umgehungsliste aufgenommen, um zu verhindern, dass sie betroffen sind.
3. Auf den Zendesk-Proxys wurde ein Korrektur bereitgestellt, um angepasste Hostnamen zu validieren.
4. Die Domänenverteilungskonfiguration wurde wieder aktiviert und begann, den Rückstand an Anfragen zu verarbeiten.
Die Fehler wurden bis zum 6. November 2023 vollständig behoben und unsere Domänen-Routing-Konfiguration wieder in Betrieb genommen.
Korrekturen
- Implementieren Sie zusätzliche Prüfungen im Domain Routing Configuration Service, um sicherzustellen, dass Host-Mapping-Subdomänen korrekt konfiguriert sind.
- Überprüfen und aktualisieren Sie die interne Dokumentation, um detaillierte Schritte zur Behebung ähnlicher Fehler zu enthalten.
- Verbessern Sie die Kommunikation mit Kunden bei solchen Vorfällen, um sie über den Stand der Situation und die voraussichtliche Lösungszeit auf dem Laufenden zu halten.
Hinweis zur Übersetzung: Dieser Beitrag wurde mit automatischer Übersetzungssoftware übersetzt, um dem Leser ein grundlegendes Verständnis des Inhalts zu vermitteln. Trotz angemessener Bemühungen, eine akkurate Übersetzung bereitzustellen, kann Zendesk keine Garantie für die Genauigkeit übernehmen.
Sollten in Bezug auf die Genauigkeit der Informationen im übersetzten Beitrag Fragen auftreten, beziehen Sie sich bitte auf die englische Version des Beitrags, die als offizielle Version gilt.