概要
2025年1月16日9時40分(UTC)から10時47分(UTC)にかけて、ポッド19のChatカスタマーの一部で、最近のチャットの閲覧、チャットエクスポートメールの受信、チャットからのチケットの作成に問題が発生しました。
タイムライン
2025年1月16日午前11時26分(UTC) | 2025年1月16日午前0時26分(PT)
POD19のお客様向けChatサービスに影響する問題は解決しましたのでお知らせいたします。ご不便をおかけして申し訳ございませんが、ご理解賜りますようお願い申し上げます。
2025年1月16日午前11時00分(UTC) | 2025年1月16日午前0時00分(PT)
最近のチャットの表示、チャットエクスポートメールの受信、チケットの作成など、機能回復が大幅に進展しました。今後も状況を注意深く監視し、お客様の満足度の向上に努めてまいります。ご不便をおかけして申し訳ございませんが、ご理解賜りますようお願い申し上げます。
2025年1月16日午前10時39分(UTC) | 2025年1月16日午前02時39分(PT)
現在、Pod 19のチャットサービスに問題が発生しており、最近のチャットを表示したり、チャットエクスポートメールを受信したり、チケットを作成したりできない場合があります。当社のチームは、これらの問題をできるだけ早く解決するために積極的に取り組んでいます。ご理解に感謝いたします。
POST-MORTEM
根本原因の分析
この事象は、チャットサービスがメモリの上限に達したため、再起動サイクルが繰り返されたために発生したものです。再起動のたびに、メモリ内データベースに追加のMetadataが生成され、システムが最終的にメモリを使い果たすまでメモリが肥大化し、同じデータベース インスタンスを共有する他のサービスに影響を与えていました。
解決策
この問題を解決するために、チームはデータベースから不要なMetadataと未確認のキーを削除し、メモリを解放しました。さらに、負荷に対応するためにインスタンスタイプを増やし、サービスの導入を完了しました。
是正項目
- アラートを追加:チャットサービスにメモリ不足(OOM)状態のアラートを実装。
- メモリ制限の調整:メモリ制限のしきい値を下げ、クリティカルレベルに達する前に早期に介入できるようにしました。
- Runbookの改善:チャットサービスとデータベースキー管理を処理するためのドキュメントとランブックが強化されました。
- データベースクラスタリング:将来的に共有メモリの問題を回避するために、データベースインスタンスをサービスごとに分ける予定。
詳細
Zendeskに関する現在のシステムステータス情報とアカウントへの具体的な影響については、システムステータスページをご覧ください。この記事をフォローして、事後レポートが公開されたときに通知を受け取ることができます。この事象についてさらにご質問がある場合は、Zendeskカスタマーサポート
翻訳に関する免責事項:この記事は、お客様の利便性のために自動翻訳ソフ トウェアによって翻訳されたものです。Zendeskでは、翻訳の正確さを期すために相応の努力を払っておりますが、翻訳の正確性につ いては保証いたしません。
翻訳された記事の内容の正確性に関して疑問が生じた場合は、正式版である英語の記事 を参照してください。
0件のコメント