概要
3 月 6 日 13:33 UTC 至 14:15 UTC 之间,客户无法加载 Explore,并收到 502 网关错误。
时间线
15:02 UTC | 07:02 太平洋时间
我们收到了客户在尝试访问 Explore 时不会再收到服务器错误消息,且我们的后台也不再显示错误消息,因此我们认为此事件已解决。感谢您在我们处理此次中断期间的耐心等待。
14:24 UTC | 06:24 PT
我们发现页面加载次数有所改善,并确认 Explore 现在可以在页面刷新后正确访问和加载。请重新加载 Explore。如果仍有任何问题,请告知我们。感谢您的耐心和帮助!
14:15 UTC | 06:15 太平洋时间
Pod 17、18、28 和 29 号 Explore 客户是目前唯一受到此问题影响的客户。我们会继续努力恢复访问。30 分钟后会有更新,或当我们有更多详情时。
14:04 UTC | 06:04 太平洋时间
关于 Explore 无法跨多个 Pod 为客户加载问题的报告,目前我们正在调查。调查正在进行中。
事后分析
根本原因分析
2024 年 3 月 6 日,用户在尝试访问 Explore 时遇到了错误,这是由于一个在后台更新系统的进程已启动。此过程导致了我们的数据库出现暂时的“锁定”问题,从而导致用户出现错误。此问题于 13:22 UTC 开始,并于 14:07:00 UTC 解决。
我们的工程团队正在开发一项新功能,旨在为用户提供使用情况统计数据。为了提高此功能的效率,我们推出了新流程。每次访问面板时,我们都会更新数据库中的表格,从而减少重复计算。当此流程开始填充现有面板的历史记录时,就出现了问题。
此事件主要是由为填充历史记录而启动的进程引起的。此过程会导致我们的数据库长时间“锁定”,从而导致超时和错误。
解决方案
清除被阻止的查询后,并重新启动 Rails 应用程序后,Explore 就会恢复正常操作。
修复项目
- 审阅回填流程
- 更新回填流程 Playbook
- 异步处理 dashboard_views 记录
如需更多信息
如需了解您 Zendesk 当前的系统状态信息,请查看我们的 系统状态页面。我们的事后调查概要通常会在事件结束几天后发布在这里。如果您对此事件有其他疑问, 请通过小组件中的 ZBot Messaging 向我们提交工单。
翻译免责声明:本文章使用自动翻译软件翻译,以便您了解基本内容。 我们已采取合理措施提供准确翻译,但不保证翻译准确性
如对翻译准确性有任何疑问,请以文章的英语版本为准。