まとめ
2024年8月27日16時30分(UTC)から22:30(UTC)まで、ポッド19、20、27のSupportのお客様で、Webhookとトリガの起動に遅延が発生し、チケットの更新やエンドユーザーとのコミュニケーションに影響しました。
提供終了までのスケジュール
2024年8月27日 午後08時03分(UTC) | 2024年8月27日午後01時03分(PT)
Supportの遅延トリガとWebhookの起動に関するレポートを調査しています。次の更新は30分後、または新しい情報が発生したときにお知らせします。
2024年8月27日 午後08時27分(UTC) | 2024年8月27日午後01時27分(PT)
Webhookとトリガの遅延は、ポッド19、20、27のSupportのお客様に影響を与えています。現在、当社のエンジニアが作業し、調査しています。次の更新は30分後、または新しい情報が発生したときにお知らせします。
2024年8月27日 午後08時56分(UTC) | 2024年8月27日午後01時56分(PT)
Zendeskのエンジニアは、ポッド19、20、27においてSupportのカスタマーに影響を与えるWebhookとトリガの遅延を引き続き調査しています。次の更新は1時間後または新しい情報があったときに行います。
2024年8月27日午後09時24分UTC | 2024年8月27日午後02時24分PT
ポッド19でWebhookの遅延が改善され、ポッド20と27ではWebhookの未解決のチケットの処理に引き続き取り組んでいます。次の更新は1時間後または新しい情報があったときに行います。
2024年8月27日 午後10時03分(UTC) | 2024年8月27日午後03時03分(PT)
ポッド19と20のWebhookの未解決のチケットは完全に処理されており、これらのポッドでの遅延はありません。Zendeskはポッド27のWebhookのバックログをまだ処理中であり、バックログがクリアされたら、アップデートを提供します。
2024年8月27日 午後10時40分(UTC) | 2024年8月27日午後03時40分(PT)
ポッド19、20、27のWebhookの未解決のチケットは完全に処理されており、これらのポッドでの遅延はありません。問題は完全に解決されています。
事後のメモ
根本原因分析
この事象の主な原因は、大口顧客による大量のユーザーインポートによってトラフィックが急増したことです。この急増により、Webhookシステムのスループット制限に達し、大幅な遅延が発生しました。さらに、ポッド27では、自動スケーリングのメカニズムがトラフィックの増加に適切に対応できず、遅延がさらに拡大しています。
解決策
この問題を解決するために、Webhooksディスカッションと信頼できない発信ゾーン(UEZ)のスケーラビリティを確保し、トラフィックの急増に対応できるようにしました。さらに、特定の顧客は業務を遅くするように要求されました。必要な規模の調整が行われた後、未解決のチケットは減少し始め、影響を受けたすべてのポッドで通常のサービスが段階的に復旧しました。
改善策
- Webhookサービスの水平自動スケーリングポリシーを定義する。 [進行中]
- 多数のサブドメインを持つ1人のカスタマー向けに、API制限の拡張ロジックを調査する。 [スケジュール]
- ポッド27のセキュアな出力ティアの自動スケーリングの問題を調査し、修正する。
- 緊急解決時の摩擦を減らすために、デプロイメントと設定の変更プロセスを効率化する。 [進行中]
- Webhook用にサブドメイン固有のスキルスイッチを実装します。 [進行中]
- Webhookの未解決のチケットや配信のレイテンシーが大きくなった場合にフラグを立てる監視アラートを追加します。 [スケジュール]
- 顧客に通知し、トラフィックを先取りして管理するために、WebhookのAPI制限を公開で文書化する。 [スケジュール]
詳細情報を表示
Zendeskの現在のシステムステータスについては、 システムステータスページを参照してください。事後調査のまとめは、通常、インシデントが終了してから数日後にこちらに投稿されます。この事象についてさらにご質問がある場合は、Zendeskカスタマーサポートにお問い合わせください。
翻訳に関する免責事項:この記事は、お客様の利便性のために自動翻訳ソフ トウェアによって翻訳されたものです。Zendeskでは、翻訳の正確さを期すために相応の努力を払っておりますが、翻訳の正確性につ いては保証いたしません。
翻訳された記事の内容の正確性に関して疑問が生じた場合は、正式版である英語の記事 を参照してください。
0件のコメント