まとめ
この事象により、複数のポッドおよび地域の一部のExploreカスタマーにおいて、Exploreのチケットデータセットの情報に遅延が発生したり、情報が期限切れになったりするという問題が発生しました。
タイムライン
10:38 UTC | 02:38 (PT)
ロールバック後、再処理された同期ジョブはすべて完了し、Exploreデータの同期が正常に戻りました。そのため、この事象は解決済みです。調査中、ご迷惑おかけしました。
00:18 UTC | 16:18 (PT)
弊社では引き続き、影響を受けたお客様の同期ジョブを手動で再処理しています。重要な情報を共有することができたら、別の更新情報を提供します。
20:58 UTC | 12:58(PT)
チケットデータセットの更新に遅延を引き起こしたExploreアップデートのロールバックを完了しました。同期ジョブを手動で再処理しています。新しい情報を提供する場合は、更新情報を提供します。
20:11 UTC | 12:11(PT)
最近リリースされたアップデートで、一部のExploreカスタマー向けに「チケット」データセットで見られる同期の遅延やエラーの根本原因を潜在的な要因と考えます。現在、更新のロールバックに取り組んでおり、結果を監視しています。今後も新しい調査結果が決まり次第、アップデート情報を提供いたします。
19:06 UTC | 11:06 (PT)
複数のポッドおよび地域にまたがるExploreのチケットデータセットの同期の遅延やエラーの原因となる問題については、現在も調査中です。Zendeskのチームは進展を遂げましたが、一部のアカウントでまだ遅延が発生しています。新しい情報を見つけ次第、投稿していきます。
18:10 UTC | 10:10 (PT)
Zendeskのチームは、複数のポッドや地域にまたがる一部のExploreユーザーに対し、チケットデータセットで同期の遅延やエラーを引き起こす問題を引き続き調査しています。調査の進捗に合わせて、さらに最新情報を提供します。
17:40 UTC | 09:40 (PT)
複数のポッドおよび地域にまたがるExploreのチケットデータセットで同期の遅延やエラーが発生する問題が確認されました。現在、当社のチームが調査を行っており、詳細な情報が得られ次第、投稿します。
17:29 UTC | 09:29 (PT)
現在、複数のポッドや地域にまたがるチケットデータセットで、Exploreの同期の遅延に関するレポートを調査しています。近日中に追加のアップデートを提供します。
事後のメモ
根本原因分析
背景:Zendeskには、カスタマーのために定期的にデータを収集するシステム(Explore ETL)があります。このシステムが、データ収集の実際のプロセスを処理します。収集したデータは保存され、さらに処理されます。チケットごとに大量のデータがあるアカウントで、データ収集に問題が発生しました。この大量の情報のせいでメモリが不足し、エラーが発生したり、データ処理が遅くなったりします。
さらに、最近のサーバーメンテナンスのアップグレードによって、メモリのガーベジコレクションの実行方法が変更され、メモリの消費量が増大し、問題が増大しました。
解決策
問題を特定すると、Zendeskではタスクに優先順位を付け、サーバーを再起動することで過負荷の管理を試みました。さらに調査を実施し、他のチームの協力を得た結果、サーバーアップグレードの問題が原因で特定され、以前のバージョンにロールバックされました。タスクの処理は正常に戻りました。
改善策
今後の対策として、以下の3つの対策を実施いたします。
1.チケットデータのペイロードのサイズを制限します。
2.新しいガバナーコレクション動作によるメモリ消費量の増加を考慮して、サーバーのメンテナンスのアップグレードを再評価してください。
3.テスト環境を強化して、本番環境の負荷を再現し、このようなシナリオを正確にテストします。
詳細情報を表示
Zendeskの現在のシステムステータスについては、 システムステータスページを参照してください。事後調査のまとめは、通常、インシデントが終了してから数日後にこちらに投稿されます。この事象についてさらに ご質問がある場合は、ウィジェット内のZBotメッセージング経由でチケットを記録してください。
翻訳に関する免責事項:この記事は、お客様の利便性のために自動翻訳ソフ トウェアによって翻訳されたものです。Zendeskでは、翻訳の正確さを期すために相応の努力を払っておりますが、翻訳の正確性につ いては保証いたしません。
翻訳された記事の内容の正確性に関して疑問が生じた場合は、正式版である英語の記事 を参照してください。