SOMMAIRE
Le 1er décembre 2024, de 4h00 UTC au 3 décembre 20h00 UTC, les clients Sell dans plusieurs Pods ont rencontré des problèmes avec certaines fonctionnalités, notamment la visibilité des données dans les listes intelligentes, la conversion des leads avec la création d’opportunités et les appels sortants, ces derniers connaissant un fonctionnement intermittent. d’erreurs. Une fois la fonctionnalité rétablie, les demandes non traitées ont dû être traitées, ce qui a pris jusqu’au 18 décembre 2024 à 16h22 UTC.
CALENDRIER
18 décembre 2024 16h22 UTC | 18 décembre 2024 08h22 (heure du Pacifique)
Nous vous remercions de votre patience pendant que nous avons retraité les données Sell manquantes ou affectées pendant la fenêtre d’impact. À ce stade, toutes les données devraient être correctes. Contactez-nous si les problèmes persistent.
13 décembre 2024 23h26 UTC | 13 décembre 2024 15h26 (heure du Pacifique)
Notre équipe d’ingénierie a fait des progrès conséquents pour remplir et traiter les données Sell manquantes ou affectées pendant la période d’impact. Cependant, il reste encore un petit sous-ensemble de demandes nécessitant plus d’intervention manuelle pour être remplies. Nous consacrons du temps et des efforts supplémentaires pour nous assurer que toutes les données arrivent au bon endroit et nous continuerons notre travail la semaine prochaine pour confirmer une récupération complète. Merci de votre patience.
09 décembre 2024 10:16 UTC | 06 décembre 2024 14h16 (heure du Pacifique)
Notre équipe continue de travailler à compléter les données Sell affectées pendant la période d’impact. Cependant, compte tenu du volume de ces données et de notre niveau de vérification pour garantir que les données correctes sont incluses avec précision, cela prendra un peu plus de temps. Nous ne manquerons pas de vous tenir au courant des progrès du remplissage.
06 décembre 2024 14h06 UTC | 06 décembre 2024 06h06 (heure du Pacifique)
Nous aimerions faire une mise à jour au sujet de l’incident qui a affecté nos clients Sell le 3 décembre 2024. Notre équipe continue de traiter les tickets non traités qui ont eu lieu pendant l’incident. Nous continuerons de fournir des mises à jour dès que possible.
04 décembre 2024 10:27 UTC | 04 décembre 2024 02h27 (heure du Pacifique)
Notre équipe cherche activement l’approche la plus efficace pour gérer les actions non traitées suite à l’incident de la veille dans Sell. Nous vous ferons part d’autres mises à jour dès qu’elles seront disponibles.
03 décembre 2024 23h44 UTC | 03 décembre 2024 15h44 (heure du Pacifique)
Notre équipe d’ingénierie a normalisé les fonctionnalités Sell et les nouvelles demandes sont traitées comme prévu actuellement. Nous travaillons sur nos options pour traiter les demandes qui ont peut-être expiré pendant la fenêtre d’impact et fournirons plus d’informations lorsque cette enquête se poursuivra demain.
03 décembre 2024 09h47 UTC | 03 décembre 2024 13h47 (heure du Pacifique)
Notre équipe continue de travailler pour réduire le nombre de tickets non traités et rétablir les fonctionnalités Sell attendues. Nous nous efforçons d’accroître la capacité afin d’accélérer la reprise, mais nous nous attendons à une latence et des retards. Nous vous enverrons d’autres mises à jour quand nous aurons de nouvelles informations à partager.
03 décembre 2024 17h09 UTC | 03 décembre 2024 09h09 (heure du Pacifique)
Nous commençons à voir une amélioration des problèmes affectant Sell. Cependant, nous nous efforçons de traiter un volume de tickets non traités important et il est possible que nous ayons encore des latences. Nous continuerons de surveiller la situation pour garantir une reprise complète.
03 décembre 2024 15h35 UTC | 03 décembre 2024 07h35 (heure du Pacifique)
Notre équipe continue de travailler sur les problèmes qui affectent actuellement Sell. Ils peuvent se traduire par des problèmes de visibilité des données dans les listes intelligentes, la conversion des leads lors de la création d’opportunités et des échecs intermittents des appels sortants. Nous vous fournirons les mises à jour dès qu’elles seront disponibles.
03 décembre 2024 14h01 UTC | 03 décembre 2024 06:01 (heure du Pacifique)
Nous souhaitons vous tenir au courant des problèmes affectant certaines fonctionnalités, notamment la visibilité des données dans les listes intelligentes, la conversion des leads avec la création d’opportunités de vente et les échecs intermittents des appels sortants. Nous n’avons pas de nouveautés à partager actuellement, mais sachez que notre équipe fait tout son possible pour résoudre ce problème le plus rapidement possible.
03 décembre 2024 12h14 UTC | 03 décembre 2024 04:14 (heure du Pacifique)
Notre équipe fait face à la dégradation du service qui affecte certaines fonctionnalités spécifiques. Actuellement, la visibilité des données dans les listes intelligentes, la conversion des leads avec la création d’opportunités et les appels sortants sont affectés, ces derniers subissant des échecs intermittents. La plupart des services principaux restent opérationnels, mais certains problèmes peuvent souvent être résolus en rechargeant la conversation ou en faisant une nouvelle tentative.
03 décembre 2024 11h23 UTC | 03 décembre 2024 03h23 (heure du Pacifique)
Notre équipe travaille activement sur la dégradation du service qui affecte certaines fonctionnalités, notamment la visibilité des données dans les listes intelligentes et la conversion des leads via la création d’opportunités de vente. La plupart des services principaux restent opérationnels et les problèmes avec certaines fonctionnalités peuvent souvent être résolus en rechargeant ou en réessayant.
03 décembre 2024 10:53 UTC | 03 décembre 2024 02h53 (heure du Pacifique)
Nous étudions actuellement un problème où des données obsolètes peuvent s’afficher dans nos systèmes. En outre, les tentatives de mise à jour des données pendant cette période peuvent provoquer des erreurs. Notre équipe fait tout son possible pour résoudre ces problèmes en priorité.
POST-MORTEM
Analyse de la cause
Cet incident a été causé par une augmentation soudaine du volume de demandes, qui a débouché sur une utilisation de la mémoire élevée dans l’infrastructure Sell. Cela provoque des alertes dues à une charge excessive et plusieurs files d'attente se remplissent jusqu'à leur capacité maximale. Le système responsable de la gestion de ces flux de demandes redémarrait fréquemment et ne parvenait pas à suivre la demande, ce qui a débouché sur un volume de tickets non traités croissant, ce qui empêchait le traitement de nouvelles demandes.
Résolution
Pour résoudre ce problème, nous avons d’abord essayé de développer une infrastructure supplémentaire, mais la capacité a aussi été rapidement remplie. Nous avons ensuite configuré un nouveau cluster avec des ressources supplémentaires pour gérer efficacement le trafic live. Cela nous a permis de stabilité nos opérations et de rétablir des fonctionnalités normales pendant que nous travaillions à éliminer les demandes en attente dans l’ancienne infrastructure.
Éléments de correction
- Supprimer les files d’attente de notifications obsolètes : Nous avons décidé d’éliminer les files d’attente de notifications inutiles qui n’étaient pas nécessaires pour communiquer avec les clients. Cela réduit le nombre de demandes traitées par l’infrastructure concernée.
- Améliorer les outils de traitement des messages : Des améliorations ont été apportées aux outils existants pour accroître l’efficacité du traitement des messages et, encore une fois, la capacité de traitement des demandes a été accrue.
- Créez des alertes supplémentaires : De nouvelles alertes de surveillance ont été créées pour suivre les performances du système et éviter une utilisation élevée de la mémoire.
- Définissez des limites de connexion : Nous avons mis en place des limites du nombre de connexions à des applications spécifiques pour éviter les surcharges de travail et assurer une gestion du trafic plus fluide.
POUR EN SAVOIR PLUS
Pour des informations sur le statut actuel de votre Zendesk, consultez notre page de statut du système. Le résumé de notre enquête rétrospective est généralement affiché ici quelques jours après la fin de l’incident. Si vous avez d’autres questions au sujet de cet incident, contactez l’assistance client Zendesk.
Traduction - exonération : cet article a été traduit par un logiciel de traduction automatisée pour permettre une compréhension élémentaire de son contenu. Des efforts raisonnables ont été faits pour fournir une traduction correcte, mais Zendesk ne garantit pas l’exactitude de la traduction.
Si vous avez des questions quant à l’exactitude des informations contenues dans l’article traduit, consultez la version anglaise de l’article, qui représente la version officielle.
0 commentaire