まとめ
2024年6月、特に7月の13日と25日および数日間に、ZendeskのSupportエージェントワークスペース内で多くの問題が発生しました。これらの事象により、エージェントのワークフローが中断され、チケットへのアクセスが困難になりました。遭遇した主な問題には、チケットを読み込もうとしたときに「メッセージが見つかりません」というエラーや「A_xxx」というエラーコードが表示されたことが挙げられます。これらの問題は、主にさまざまなポッドで数日間に発生しました。通常、1回の障害のピーク時間は平均2分でした。カスタマーは回避策としてシステムの更新を試みることもできますが、そのプロセスで進行中の会話を失う恐れがあります。
提供終了までのスケジュール
2024年6月25日 04:05 UTC | 2024年6月25日午前9時05分（PT）
2024年6月25日の15:40～15:47（UTC）の間に、複数のポッドのカスタマーに影響を与えるエラーが急増していることが確認されています。サポート。これらのエラーから回復しました。ブラウザを再読み込みするか、キャッシュとcookieをクリアすることで問題を解決する必要があります。
事後のメモ
根本原因分析
これらの事象の主な原因は、多くの場合にトラフィックのピーク時にサーバーへのHTTPリクエストが予想外に増加したことです。この急増により、エージェントグラフのサーバー接続が過負荷となり、準備完了のプローバーがエラーに失敗する「大量の混乱」が発生しました。システムの重要なコンポーネントであるLotusが重要な役割を果たしていることが判明しました。そのため、チケットデータマネージャー(TDM)の再接続のたびに複数のリクエストが発生し、過負荷となっていました。このトラフィック量の急増は、主に、Zorg/Nginxおよび/またはサブスクリプションサービスの導入による大量の切断後に再接続された会話ステータスのサブスクリプションに起因します。
TDMは、主にチケットデータの管理に責任を負います。チケットが生成されるときに情報を整理して保存し、エージェントや顧客がチケットにアクセスする必要があるときにこのデータを取得して提示します。また、すべてのチケット関連データのマスターコントローラとして機能し、システム内のシームレスな操作を保証します。
解決方法
これらの問題に対処するために、予防的措置が導入されました。これには、受信トラフィックの規制に使用される接続制限とリクエストレート制限も含まれていました。同時に、キャッシュエラー時のエージェントグラフの回復力を強化するための手順が行われました。この戦略は、停電時のバックアップ発電機のように機能し、避けられない技術的な障害によるシステム全体の中断を防ぐためのものです。多数の緩和策が導入されましたが、サービスインシデントを終了させる実際の改善策は、Lotusの変更によるものでした。この変更により、ダッシュボード効果の終了後にデータの再取得が発生するシナリオの数が減りました。
7月25日編集:問題の原因となるリクエストの蓄積を防ぐために7月10日にいくつかの調整を行った後、チケットUIに影響を与えるような急増は見られませんでした。引き続き状況を注視し続けた結果、次の数日で順調に運用されていることを確認し、満足しました。
また、前月の間に、金曜日に特定のポッドのパフォーマンスが低下していましたが、7月12日にはアップしていて、変更に対する信頼性が高まりました。その後は、7月15日の時点でパフォーマンスのダウンや急上昇は発生しておらず、問題は解決されたものと考えられます。
改善策
システムの安定性をさらに高め、将来的な中断を防ぐために、追加の戦略が計画されています。
- 準備テストエラーに関するアラート：成約テストを実装し、潜在的な問題について技術チームに迅速に警告することで、迅速な対応を可能にする。
- 取得パターンに関する検討事項：システムのアンバランスを回避するために、情報の取得の量と頻度を慎重に検討するようにソフトウェア開発者にアドバイスします。
- リクエストの基準値を設定する：システムダウンを防ぐために、チケット情報の同時リクエストを処理するシステム容量を確保します。
- 再取得の間隔を空けます。ジッタを導入することで、大混乱の影響を軽減することができます。
- より快適なサブスクリプションの維持：デプロイメント時にサブスクリプションをより効果的に維持するための方法を調査します。
詳細情報を表示
Zendeskの現在のシステムステータスについては、 システムステータスページを参照してください。事後調査のまとめは、通常、インシデントが終了してから数日後にこちらに投稿されます。この事象についてさらにご質問がある場合は、Zendeskカスタマーサポートにお問い合わせください。
翻訳に関する免責事項：この記事は、お客様の利便性のために自動翻訳ソフ トウェアによって翻訳されたものです。Zendeskでは、翻訳の正確さを期すために相応の努力を払っておりますが、翻訳の正確性につ いては保証いたしません。
翻訳された記事の内容の正確性に関して疑問が生じた場合は、正式版である英語の記事 を参照してください。