Überblick
Am 23. Juli 2024 von 10:58 UTC bis 14:57 UTC konnten Kunden in Pod 29 nicht über die Produktleiste auf Zendesk-Produkte (einschließlich Admin Center) zugreifen. Bei etwa 1 % der Kundenanfragen wurden 503 Fehler beim Zugriff auf authentifizierte Funktionen in Guide, Talk, Chat, Explore und Support zurückgegeben und Kunden konnten die Produktleiste von Zendesk nicht öffnen, um zwischen Produkten zu wechseln. In der Produktleiste sowie auf der Hauptseite des Webbrowsers wurden mehrere Fehler angezeigt.
Zeitleiste
23. Juli 2024 11:48 UTC | 23. Juli 2024, 04:48 Uhr PT
Uns sind bekannt und wir arbeiten daran, Probleme für Kunden auf Pod 29 zu minimieren, die das Admin Center nicht laden können und die Fehlermeldung „Die Seite funktioniert nicht“ erhalten. Andere Produkte scheinen in der Produktleiste ebenfalls nicht verfügbar zu sein: „Zendesk-Produkte können nicht geladen werden. Versuchen Sie es erneut. Nächste Aktualisierung in 30 Minuten bzw. dann, wenn mehr zu berichten ist.
23. Juli 2024 12:19 UTC | 23. Juli 2024, 05:19 Uhr PT
Wir arbeiten weiter daran, die Zugriffsprobleme im Zusammenhang mit mehreren Produkten für Kunden auf Pod 29 zu lösen. Wir danken Ihnen für Ihre Geduld.
23. Juli 2024 13:22 UTC | 23. Juli 2024, 06:22 Uhr PT
Wir arbeiten weiterhin an möglichen Lösungen für die Zugriffsprobleme, die mehrere Produkte für Kunden in Pod 29 betreffen. Vielen Dank für Ihr Verständnis.
23. Juli 2024 13:46 UTC | 23. Juli 2024, 06:46 Uhr PST
Wir haben eine potenzielle Korrektur implementiert und stellen einen Rückgang von Fehlern und einige Verbesserungen beim Laden von Testkonten auf Pod 29 fest. Wir möchten Sie bitten, den Cache und die Cookies zu löschen und dann erneut zu versuchen, Zendesk zu laden.
23. Juli 2024 14:06 UTC | 23. Juli 2024, 07:06 Uhr PST
Obwohl wir bereits einige positive Bestätigungen erhalten haben, dass alles funktioniert, halten wir Ausschau nach möglichen neuen Fehlerspitzen. Wir danken Ihnen für Ihr Verständnis, während wir warten, bis wir dieses Problem als vollständig gelöst markieren.
23. Juli 2024 15:19 Uhr UTC | 23. Juli 2024, 08:19 Uhr PT
Wir haben die Ursache des Problems identifiziert und die Änderung rückgängig gemacht, um weitere Probleme zu verhindern. Nach zusätzlichen Überwachungsberichten haben wir keine weiteren Fehler bestätigt und markieren diesen Vorfall als vollständig gelöst.
POST-MORTEM
Ursachenanalyse
Dieser Vorfall wurde durch die Einführung der neuen Berechtigung zum Verwalten von Teammitgliedern verursacht. Ab jetzt können Agenten mit angepassten Rollen als eigenständige Berechtigung andere Teammitglieder und deren Rollenzuweisungen anzeigen und verwalten (Ankündigung). Dieser Rollout führte zu einem starken Anstieg der Anfragen an den zugrundeliegenden internen Berechtigungsdienst und damit zu einer Kapazitätssättigung des Datenbankclusters. Infolge dieses Datenverkehrs erreichte das Cluster seine maximale Netzwerkbandbreitenkapazität, was zu einem Netzwerkfehler zwischen dem Cluster und den App-Servern unseres Dienstes führte.
Lösung
Um dieses Problem zu beheben, hat unser Team zunächst die Kapazität der Datenbankinstanz des Berechtigungsdienstes erhöht, um eine kurzfristige Wiederherstellung zu ermöglichen. Sobald die Ursache gefunden wurde, machten unsere Ingenieure die Codeänderung für die Berechtigungsfunktion rückgängig.
Korrekturelemente
- Netzwerkverkehr durch Berechtigungsprüfungen reduzieren [in Bearbeitung]
- Zusätzliche Überwachungen und Benachrichtigungen zur Erkennung von Verkehrsaufkommen [geplant]
- Untersuchen der Datenbankkapazität des Berechtigungsservice mit der richtigen Größe [geplant]
Weitere Informationen
Aktuelle Systemstatusinformationen zu Ihrem Zendesk finden Sie auf der Systemstatusseite. Die Zusammenfassung unserer Post-mortem-Untersuchung wird in der Regel hier einige Tage nach Abschluss des Vorfalls gepostet. Wenn Sie weitere Fragen zu diesem Vorfall haben, wenden Sie sich an den Zendesk-Kundensupport.
Hinweis zur Übersetzung: Dieser Beitrag wurde mit automatischer Übersetzungssoftware übersetzt, um dem Leser ein grundlegendes Verständnis des Inhalts zu vermitteln. Trotz angemessener Bemühungen, eine akkurate Übersetzung bereitzustellen, kann Zendesk keine Garantie für die Genauigkeit übernehmen.
Sollten in Bezug auf die Genauigkeit der Informationen im übersetzten Beitrag Fragen auftreten, beziehen Sie sich bitte auf die englische Version des Beitrags, die als offizielle Version gilt.