概要
2023 年 11 月 16 日 18:02 UTC 至 20:00 UTC,Pod 13、17、19、23、28 和 29 中的一些 Support 客户在接收入站电邮时遇到了延迟或完全停止。从发送电邮到通过 Google 托管服务在 Zendesk 中创建工单,延迟时间为 15 到 60 分钟不等。
时间线
18:53 UTC | 10:53 PT
我们正在调查 Pod 28 和 29 上未为客户处理入站电邮的报告。我们将很快提供更多信息。
18:57 UTC | 10:57(太平洋时间)
我们已确认一个导致 Pod 13、19、23、28 和 29 上的客户入站电邮处理延迟的问题。我们的团队正在调查此事。如有最新进展,我们将第一时间提供。
19:33 UTC | 11:33(太平洋时间)
我们的团队正在继续调查导致 Pod 13、17、19、23、28 和 29 入站电邮处理延迟的问题。我们正在努力减轻影响,并确保尽快共享新信息。
19:54 UTC | 11:54(太平洋时间)
我们开始看到导致 Pod 13、17、19、23、28 和 29 入站电邮处理延迟的问题有所改善。我们的团队将继续进行监测,以确保其完全恢复。
21:14 UTC | 13:14 PT
我们已为 Pod 13、17、19、23、28 和 29 的客户解决入站电邮延迟的问题,目前正在如预期处理入站电邮。感谢您耐心等待我们的调查。
事后分析
根本原因分析
引发此事件的原因是邮件提取服务与 Gmail 出现连接问题,导致 Support 中的入站邮件处理中断。其中,Gmail 的 302 已移动 响应被活跃度探索解读为失败,向容器协调器表明 Pod 运行状况不佳。这导致协调器替换了 Pod,并停止了关联容器中的邮件处理,从而导致了入站邮件延迟或中断。
解决方案
为了解决此问题,我们在 Gmail 停止阻止这些运行状况检查后恢复了入站邮件流量,以便 Support 入站电邮完成 Pod 创建并重新开始处理邮件。不久之后,入站邮件队列的速度加快了,流量开始正常流动。
修复项目
- 改进现有的电邮运行状况检查实施工具。
- 创建更多警报。
- 在特定的应用程序中添加更正代码行。
如需更多信息
如需了解您 Zendesk 当前的系统状态信息,请查看我们的 系统状态页面。我们的事后调查概要通常会在事件结束几天后发布在这里。如果您对此事件有其他疑问, 请通过小组件中的 ZBot Messaging 向我们提交工单。
翻译免责声明:本文章使用自动翻译软件翻译,以便您了解基本内容。 我们已采取合理措施提供准确翻译,但不保证翻译准确性
如对翻译准确性有任何疑问,请以文章的英语版本为准。