SOMMAIRE
Le 27 août 2024, de 16h30 UTC à 22h30 UTC, les clients Support des Pods 19, 20 et 27 ont rencontré des retards dans l’exécution des webhooks et des déclencheurs, ce qui a affecté les mises à jour des tickets et les communications avec les utilisateurs finaux.
Chronologie
27 août 2024 20h03 UTC | 27 août 2024 13h03 (heure du Pacifique)
Nous étudions des rapports sur les déclencheurs retardés et l’exécution des webhooks. Prochaine mise à jour dans 30 minutes ou quand nous aurons de nouvelles informations à partager.
27 août 2024 20h27 UTC | 27 août 2024 13h27 (heure du Pacifique)
Les retards du webhook et du déclencheur affectent les clients Support des pods 19, 20 et 27. Nos ingénieurs sont en train d’enquêter. Prochaine mise à jour dans 30 minutes ou quand nous aurons de nouvelles informations à partager.
27 août 2024 20h56 UTC | 27 août 2024 13h56 (heure du Pacifique)
Nos ingénieurs continuent d’enquêter sur les retards des webhooks et des déclencheurs qui affectent les clients Support sur les pods 19, 20 et 27. Prochaine mise à jour dans 1 heure ou quand nous aurons de nouvelles informations à partager.
27 août 2024 21h24 UTC | 27 août 2024 14h24 (heure du Pacifique)
Nous constatons une amélioration des retards des webhooks sur le Pod 19 et nous continuons de travailler sur le traitement des webhooks non traités sur les pods 20 et 27. Prochaine mise à jour dans 1 heure ou quand nous aurons de nouvelles informations à partager.
27 août 2024 10:03 UTC | 27 août 2024 15h03 (heure du Pacifique)
Les webhooks non traités sur les pods 19 et 20 ont été entièrement traités et il ne devrait plus y avoir de retard sur ces pods. Nous traitons toujours les webhooks non traités sur le pod 27 et fournirons une mise à jour une fois ces tickets non traités résolus.
27 août 2024 10:40 UTC | 27 août 2024 15h40 (heure du Pacifique)
Les webhooks non traités sur les pods 19, 20 et 27 ont été entièrement traités et il ne devrait plus y avoir de retard sur ces pods. le problème est maintenant entièrement résolu.
APRÈS LE TEMPS DE
Analyse de la cause
L’incident a essentiellement été causé par une hausse soudaine du trafic due à une importation en bloc d’utilisateurs par un gros client. À cause de ce pic, le système de webhooks a atteint sa limite de débit, ce qui engendre des retards importants. En outre, dans le Pod 27, le mécanisme d’échelle automatique n’a pas géré l’augmentation du trafic de façon adéquate, ce qui a encore exacer les retards.
Résolution
Pour résoudre ce problème, le répartiteur de webhooks et la zone de sortie non sécurisée (UEZ) ont été configurés pour gérer le pic de trafic. En outre, le client spécifique a été invité à ralentir ses opérations. Une fois les ajustements nécessaires à la mise à l’échelle effectués, le nombre de tickets non traités a commencé à baisser et un service normal a été progressivement rétabli pour tous les Pods concernés.
Éléments de correction
- Définissez des politiques d’évolution automatique horizontales pour les services de webhooks. [EN COURS]
- Envisagez d’améliorer la logique de limites de débit pour les comptes d’un seul client ayant plusieurs sous-domaines. [planifié]
- Résolvez le problème d’échelles automatique du niveau d’entrée sécurisée dans le Pod 27 et résolvez-le.
- Rationalisez le processus de déploiement et de modification de la configuration pour réduire les frictions pendant les résolutions d’urgence. [EN COURS]
- Implémentez des arrêts d’exécution spécifiques aux sous-domaines pour les webhooks. [EN COURS]
- Ajoutez des alertes de surveillance pour signaler quand les webhooks non traités ou la latence de livraison deviennent trop importants. [planifié]
- Documentez publiquement les limites de débit des webhooks pour informer les clients et gérer le trafic de façon anticipée. [planifié]
POUR EN SAVOIR PLUS
Pour des informations sur le statut actuel de votre Zendesk, consultez notre page de statut du système. Le résumé de notre enquête rétrospective est généralement affiché ici quelques jours après la fin de l’incident. Si vous avez d’autres questions au sujet de cet incident, contactez l’assistance client Zendesk.
Traduction - exonération : cet article a été traduit par un logiciel de traduction automatisée pour permettre une compréhension élémentaire de son contenu. Des efforts raisonnables ont été faits pour fournir une traduction correcte, mais Zendesk ne garantit pas l’exactitude de la traduction.
Si vous avez des questions quant à l’exactitude des informations contenues dans l’article traduit, consultez la version anglaise de l’article, qui représente la version officielle.
0 commentaire