概要

2025年10月20日06時49分(UTC)から23時41分(UTC)にかけて、複数のZendesk製品で問題が発生しているお客様から1,308件の報告を受けました。これらのシステム停止は、AWS US Eastの大規模なシステム停止中にアプリケーション統合に失敗したことが原因です。

提供終了までのスケジュール

2025年10月20日07:59 AM UTC | 2025年10月20日12:59 AM PST

複数のZendeskサービスに問題が発生していることが判明しました。現在、当社のエンジニアリングチームが問題解決に最善を尽くしています。30分後に最新情報を提供します。ご理解に感謝いたします。

2025年10月20日午前8時32分(UTC) | 2025年10月20日午前1時32分(PST)

混乱が続いていることを深くお詫び申し上げます。現在、当社のエンジニアがトラブルシューティングに取り組んでいます。重要な情報を共有し次第、更新を提供します。ご理解とご協力のほどよろしくお願いいたします。

2025年10月20日午前9時49分(UTC) | 2025年10月20日午前2時49分(PST)

Zendeskのエンジニアが、Chat、音声、分析、SunCo、Sunshineプラットフォーム、コンタクトセンター、サポートなど、複数のZendesk製品に影響を与えるアップストリームプロバイダに起因する問題を特定しました。改善は進んでいますが、お客様にはパフォーマンスが低下する期間が発生する可能性があります。ご不便をおかけして申し訳ございませんが、随時更新いたします。

2025年10月20日午前11時08分(UTC) | 2025年10月20日午前4時08分(PST)

アップストリームプロバイダに起因する問題を受け、Zendesk製品の一部復旧が確認されました。Zendeskのエンジニアリングチームは、引き続き、すべての被災地で完全なサービスを復旧できるよう尽力しています。お客様にはご不便をおかけいたしますが、何卒ご理解賜りますようお願い申し上げます。アップデートは順次提供されます。

2025年10月20日02:28 PM UTC | 2025年10月20日07:28 AM PST

ほとんどのZendesk製品で大幅な回復が確認されています。ただし、AMERおよびAPAC Exploreのお客様は、ライブ分析レポートと履歴分析レポートの両方で、引き続き古いデータが表示される可能性があります。さらに、アップストリームプロバイダーの問題にリンクされたコールセッションとデータアクセスに継続的な問題があります。Zendeskのエンジニアリングチームは、このプロバイダーと密接に連携して修復を迅速化し、ピーク時の使用期間の前にすべてのサービスを完全に復旧するための対策を積極的に講じています。ご迷惑をおかけいたしますが、何卒ご理解賜りますようお願い申し上げます。今後のアップデートについては、順次お知らせいたします。

2025年10月20日03:20 PM UTC | 2025年10月20日08:20 AM PST

Zendeskでは、複数のZendesk製品やポッド(主にポッド19とポッド23)に影響するクラウドプロバイダーの障害に積極的に対応しています。その他の影響としては、AMERおよびAPACのExplore、すべてのポッドにわたるTalk、AIエージェント、Sunshine Conversations、オムニチャネルルーティングとChatの一部の機能低下などがあります。以前の通知が届かなかったことをお詫び申し上げます。1時間以内または新しい情報が発生したらすぐに更新します。

2025年10月20日午後4時30分(UTC) | 2025年10月20日午前9時30分(PST)

複数のZendesk製品に影響を与える問題については、引き続きクラウドプロバイダーと協力して取り組んでいます。完全復旧に関する実質的な最新情報やポジティブなお知らせはありませんが、最新の状況をお知らせいたします。サービスの中断が発生するまで、お客様のご理解とご理解を賜りますようお願い申し上げます。アップデートが利用可能になり次第、お知らせします。

2025年10月20日午後10時05分(UTC) | 2025年10月20日午後3時05分(PST)

パートナーのクラウドプロバイダーは、Zendesk製品に大幅な改善が見られることを示しており、Zendesk製品のモニタリングとログ記録はほぼ完全に回復しています。安定性の観点からは解決に近づきつつありますが、影響範囲からまだ処理中のアクティビティがかなり未解決のまま残っています。ExploreのデータとTalkのコール録音は、今後数時間かけて徐々に埋め戻されていきます。最終的に解決したことを確認したら、フォローアップします。調査中は、何卒ご理解賜りますようお願い申し上げます。

2025年10月20日午後11時35分(UTC) | 2025年10月20日午後4時35分(PST)

すべてのZendeskサービスは復旧し、安定しています。Exploreのデータは、事象中に作成された未解決チケットを処理する際に、今後数時間にわたって更新され続けます。カスタマーによるアクションは必要ありません。Exploreレポートは通常どおり使用できますが、未解決のチケットが解消されるまでデータの更新に時間がかかる場合があります。どうかご理解とご協力に深く感謝いたします。

根本原因の分析

この事件は、AWS US East(us-east-1)の大規模な停止が原因で、ネットワークアドレスの解決に失敗し、システム容量が不足し、Zendeskのコア インフラストラクチャ サービスが中断されました。さらに、AWSアベイラビリティ ゾーン内の制限により、特定のポッドでリソースの不均衡が生じました。 

解決

この問題を解決するために、エンジニアリング チームはAWS Supportと協力して、リソースのスケーリング、手動クリアランス、主要なデータ プロセスの再起動など、さまざまな修正を行いました。応答の期間中、お客様にはお知らせしており、すべてのコアサービスの完全復旧が確認されています。

是正項目

  1. データベースコールにタイムアウトを追加して遅延を防ぎ、失敗したコールによってシステムがハングアップしないようにします。
  2. データベースの停止を正常に処理するために、アプリのバージョンとアセットを取得するフォールバックメソッドを開発します。
  3. データの欠落によるジョブエラーを調査し、このようなエラーを回避するための検証を改善します。関連するメトリックが監視され、アラートがアクティブになっていることを確認します。
  4. 処理パイプラインを上下に簡単にスケールアップして、遅れている作業に追いつく能力を向上させます。
  5. インシデント発生時にエラーや空白ページを表示するのではなく、システムが正常に機能低下するように機能を実装する。
  6. クラスタにキャパシティバッファを追加し、メンテナンススケジュールをトラフィックのピーク時間に合わせます。
  7. 重要でないサービスで使用されるリソースを一時的に削減し、重要なアプリケーションに優先順位を付けます。
  8. 予期しないポッドのシャットダウンやスケールダウンを防止するために、キャパシティエラーを処理するためのチェックリストを作成します。
  9. 十分なリソースを維持するために、管理対象ノードグループの最小サイズ制限を設定します。
  10. サービスの信頼性を向上させるために、バックアップとフェイルオーバーのオプションを調査します。
  11. アカウントの移動を完了して、地域的な障害のリスクを軽減します。
  12. プラットフォーム障害時のユーザーへの影響を最小限に抑えるために、不要なAPIコールを減らすことを検討してください。
  13. 事象発生時のデータベース負荷を軽減するために、イベントの取り込みをインターフェイスに表示されるもののみに制限します。
  14. 影響範囲を見直して、影響を受けた地域以外のお客様に問題が発生した理由を理解します。
  15. サードパーティのサービスとそのフェイルオーバー機能への依存関係を確認します。
  16. 関連するバックアップおよびアラート手順でオンコールガイドを更新します。
  17. すべてのインシデント中にオンコールガイドにアクセスできるようにします。
  18. 導入監視ツールを改善し、ポリシーを凍結して、リリースの不具合を防ぎます。
  19. クラウドプロバイダーと協力して、アラートの精度を高め、モニタリング時のノイズを低減します。
  20. 重要なプロキシのメモリ割り当てを増やして安定性を向上させる。
  21. 誤報を防ぐために、no-dataアラートをジョブ処理システムから分離します。

詳細

Zendeskに関する現在のシステムステータス情報とお客様のアカウントへの影響については、<システムステータスページをご覧ください。この記事をフォローして、事後レポートが公開されたときに通知を受け取ることができます。この事象についてさらにご質問がある場合は、Zendeskカスタマーサポート

翻訳に関する免責事項:この記事は、お客様の利便性のために自動翻訳ソフ トウェアによって翻訳されたものです。Zendeskでは、翻訳の正確さを期すために相応の努力を払っておりますが、翻訳の正確性につ いては保証いたしません。

翻訳された記事の内容の正確性に関して疑問が生じた場合は、正式版である英語の記事 を参照してください。

Powered by Zendesk