まとめ
2023年11月16日18時02分(UTC)から20:00(UTC)まで、ポッド13、17、19、23、28、29の一部のSupportのお客様は、インバウンドメールの受信に遅延または完全に停止することが発生しました。メールが送信されてからGoogleの管理サービス経由でZendeskでチケットが作成されるまでの遅延時間は、15分~60分でした。
提供終了までのスケジュール
18:53 UTC | 10:53(PT)
Zendeskでは、ポッド28および29で受信メールが処理されないというレポートを調査しています。すぐに追加の情報を提供します。
18:57 UTC |午前10時57分(PT)
ポッド13、19、23、28、29のカスタマーの受信メール処理に遅延を引き起こす問題を確認しました。現在、当社のチームが調査を行っており、詳細なアップデートが利用可能になり次第、お知らせいたします。
19:33 UTC | 11:33 (PT)
Zendeskのチームは、ポッド13、17、19、23、28、29で受信メールの処理が遅延する問題について、引き続き調査を行っています。Zendeskは、影響の軽減に熱心に取り組んでおり、できるだけ早く新しい情報を提供させていただきます。
19:54 UTC |午前11時54分(PT)
ポッド13、17、19、23、28、29で受信メール処理に遅延を発生させる問題については、改善が見られます。当社のチームは、完全な復旧を確保するために引き続き監視を続けます。
21:14 UTC | 13:14 (PT)
ポッド13、17、19、23、28、29のカスタマーに対して受信メールの遅延を発生させる問題を解決し、現時点では受信メールは予想どおりに処理されています。調査中、ご迷惑おかけしました。
事後のメモ
根本原因分析
この事象は、Mail FetcherサービスでGmailとの接続に問題が発生したために発生しました。これにより、Supportで受信メール処理が中断され、Gmailの 302 Moving レスポンスが、ライブネスト検証によってエラーと解釈され、コンテナオーケストレーションアプリに、ポッドが健全でないことを示しました。これにより、オーケストレーターはポッドを置き換え、関連するコンテナでメール処理を停止し、受信メールの遅延または停止を発生させました。
解決策
この問題を解決するために、Gmailがこれらの健全性チェックのブロックを停止した後に受信メールトラフィックを復元しました。これにより、Supportの受信メールがポッドの作成を完了し、メールの処理を再開できるようになりました。その後、受信メールのキューに大量のメールが到達し、トラフィックが通常通りに流れ始めました。
改善策
- メール健全性チェックの既存の実装ツールを改善します。
- 追加のアラートを作成します。
- 特定のアプリケーションに修正コード行を追加します。
詳細情報を表示
Zendeskの現在のシステムステータスについては、 システムステータスページを参照してください。事後調査のまとめは、通常、インシデントが終了してから数日後にこちらに投稿されます。この事象についてさらに ご質問がある場合は、ウィジェット内のZBotメッセージング経由でチケットを記録してください。
翻訳に関する免責事項:この記事は、お客様の利便性のために自動翻訳ソフ トウェアによって翻訳されたものです。Zendeskでは、翻訳の正確さを期すために相応の努力を払っておりますが、翻訳の正確性につ いては保証いたしません。
翻訳された記事の内容の正確性に関して疑問が生じた場合は、正式版である英語の記事 を参照してください。