概要
2024 年 8 月 20 日 00:13 至 10:16 UTC,Pod 13、18、19、23 和 25 中的 Support 客户会遇到延迟,且电邮无法创建或更新工单。
时间线
UTC 时间 | 2024 年 8 月 20 日上午 02:12 2024 年 8 月 19 日下午 7:12(太平洋时间)
我们发现了一个电邮无法跨多个 Pod 创建或更新工单的问题。调查目前正在进行中,我们将在 30 分钟后提供最新进展。
UTC 时间 | 2024 年 8 月 20 日上午 02:32 2024 年 8 月 19 日下午 07:32(太平洋时间)
我们在日志中注意到,导致工单创建和更新的问题可能与某个流量峰值有关。我们的调查已取得进展,但尚未确定根本原因。更多信息请稍后 30 分钟。
UTC 时间 | 2024 年 8 月 20 日上午 02:59 2024 年 8 月 19 日下午 07:59(太平洋时间)
我们的电邮系统出现流量峰值,这可能导致客户在工单创建或工单更新接收方面出现延迟。我们正在想方设法减少流量,以便能够处理电邮队列。下次更新将在 30 分钟后。
UTC 时间 | 2024 年 8 月 20 日上午 03:31 2024 年 8 月 19 日下午 08:31(太平洋时间)
我们会继续调查电邮服务中导致工单更新和工单创建延迟的问题。我们的团队正在努力缓解此问题。此问题可能影响 pod 13、18、19、23、25 和 28 上的帐户。下次更新将在 30 分钟后。
UTC 时间 | 2024 年 8 月 20 日上午 04:03 2024 年 8 月 19 日下午 09:03(太平洋时间)
我们目前正在测试针对 Support 工单延迟的潜在解决方案。一旦确认此操作可按预期工作,我们预计可减少排队积压的电邮,从而减少工单的创建和更新。我们将在 30 分钟后提供最新进展。感谢您耐心等待我们处理此问题。
UTC 时间 | 2024 年 8 月 20 日上午 04:41 2024 年 8 月 19 日下午 09:41(太平洋时间)
我们的团队正在尽快解决影响 Support 工单处理的电邮处理问题。问题解决后,我们预计将开始重新处理此事件期间发送的所有电邮。有进展可分享,我们将第一时间提供最新进展。
UTC 时间 | 2024 年 8 月 20 日上午 05:33 2024 年 8 月 19 日下午 10:33(太平洋时间)
我们继续致力于解决多个 Pod 的电邮处理问题。在成功测试后,我们现推出首个潜在修复程序。对于今天的长期影响,我们深表歉意!下次更新时我们将提供。谢谢!
UTC 时间 | 2024 年 8 月 20 日上午 07:29 2024 年 8 月 20 日上午 12:29(太平洋时间)
我们的团队已对所有受影响的 pod 推出修复程序,以解决 Support 电邮工单问题。我们正在监测待办电邮以寻求改进。
UTC 时间 | 2024 年 8 月 20 日上午 08:41 2024 年 8 月 20 日上午 01:41(太平洋时间)
我们发现待办工单有所改善,并将继续监测。待办工单清除后,工单将重新开始正常创建。很遗憾,目前没有预计到达时间或解决方法。如果您需要同时访问电邮,我们建议您查看所链接电邮地址的电邮收件箱。如有最新进展,我们将另行通知。
UTC 时间 | 2024 年 8 月 20 日上午 10:27 2024 年 8 月 20 日上午 03:27(太平洋时间)
我们的团队已清除积压的工单,工单创建已恢复正常操作。至此,服务故障已解决。待办工单已完成,已创建或已更新工单按时间顺序排列。受此事务影响的所有电邮都已重新处理,没有任何电邮丢失。请注意,您无需重新配置转发整合。由此带来的不便,敬请谅解!感谢您的耐心等待。
事后分析
根本原因分析
此事件是由电邮路由逻辑中的一个意外错误引起的,该错误创建了内部路由循环,导致电邮处理队列出现备份,从而导致延迟。
解决方案
为解决此问题,我们发布了一个更新以解决路由逻辑中的错误,并分配了更多资源来处理积压的电邮。
修复项目
- 改进电邮路由逻辑,避免将来出现类似情况。
- 重新审视警报,以改进针对不断增长的电邮处理队列的响应时间。
- 更新文档和 Runbook。
如需更多信息
如需了解您 Zendesk 当前的系统状态信息,请查看我们的 系统状态页面。我们的事后调查概要通常会在事件结束几天后发布在这里。如果您对此事件有其他疑问,请 联系 Zendesk 客户支持。
翻译免责声明:本文章使用自动翻译软件翻译,以便您了解基本内容。 我们已采取合理措施提供准确翻译,但不保证翻译准确性
如对翻译准确性有任何疑问,请以文章的英语版本为准。