요약
2025년 1월 16일 9:40(UTC)부터 10:47(UTC)까지 Pod 19의 일부 Chat 고객이 최근 채팅을 보고, 채팅 내보내기 이메일을 받고, 채팅에서 티켓을 만드는 데 문제가 발생했습니다.
타임라인
2025년 1월 16일 오전 11:26(UTC) | 2025년 1월 16일 오전 3시 26분(태평양 표준시)
POD19 고객의 Chat 서비스에 영향을 미치는 문제가 이제 해결되었음을 알려드리게 되어 기쁩니다. 그동안 양해해 주셔서 감사합니다.
2025년 1월 16일 오전 11:00(UTC) | 2025년 1월 16일 오전 3시(태평양 표준시)
최근 채팅을 보고, 채팅 내보내기 이메일을 받고, 티켓을 만드는 등 기능 복구에 상당한 진전이 있었습니다. 계속해서 상황을 면밀히 모니터링하여 더 나은 경험을 제공하기 위해 최선을 다할 것입니다. 그동안 양해해 주셔서 감사합니다.
2025년 1월 16일 오전 10:39(UTC) | 2025년 1월 16일 오전 2시 39분(태평양 표준시)
현재 POD 19의 채팅 서비스에 문제가 발생하여 최근 채팅을 보고, 채팅 내보내기 이메일을 받고, 티켓을 만들지 못할 수 있습니다. Zendesk 팀은 가능한 한 빨리 이러한 문제를 해결하기 위해 적극적으로 노력하고 있습니다. 기다려 주셔서 감사합니다.
사후
근본 원인 분석
이 사건은 채팅 서비스가 메모리 한도에 도달하여 계속해서 다시 시작하기 때문에 발생했습니다. 다시 시작할 때마다 메모리 내 데이터베이스에 추가 메타데이터가 생성되어 결국 시스템 메모리가 부족해질 때까지 메모리가 늘어나 동일한 데이터베이스 인스턴스를 공유하는 다른 서비스에 영향을 미쳤습니다.
해결
이 문제를 해결하기 위해 팀은 불필요한 메타데이터와 확인되지 않은 키를 데이터베이스에서 제거하여 메모리를 확보했습니다. 또한 부하를 수용할 수 있도록 인스턴스 유형을 늘렸으며 서비스의 성공적인 배포가 완료되었습니다.
수정 항목
- 알림 추가: 채팅 서비스에서 메모리 부족(OOM) 조건에 대한 알림을 구현했습니다.
- 메모리 제한 조정: 위험 수준에 도달하기 전에 더 일찍 개입할 수 있도록 메모리 제한 임계값을 낮췄습니다.
- Runbook 개선 사항: 채팅 서비스 및 데이터베이스 키 관리를 처리하기 위한 향상된 문서 및 런북.
- 데이터베이스 클러스터링: 향후 공유 메모리 문제를 피하기 위해 서로 다른 서비스에 대해 데이터베이스 인스턴스를 분리할 계획입니다.
자세한 정보
Zendesk에 대한 현재 시스템 상태 정보와 계정에 미치는 구체적인 영향은시스템 상태 페이지를참조하세요. 이 문서에 따라 사후 보고서가 게시될 때 알림을 받을 수 있습니다. 이 인시던트에 대한 추가 질문이 있으면Zendesk 고객 지원팀에 문의하세요.
번역 고지 사항: 본 문서는 콘텐츠에 대한 기본적인 이해를 제공하기 위해 자동 번역 소프트웨어를 사용하여 번역되었습니다. 정확한 번역을 제공하고자 합당한 노력을 기울였으나 Zendesk는 번역의 정확성을 보장하지 않습니다.
번역된 문서에 포함된 정보의 정확성과 관련하여 질문이 있으시면 문서의 공식 버전인 영문 버전을 참조하시기 바랍니다.
댓글 0개