요약
이 사건이 발생하는 동안 여러 POD 및 지역의 일부 Explore 고객이 Explore의 티켓 데이터 집합에서 지연 및 오래된 정보를 경험했습니다.
타임라인
10:38 UTC | 02:38(태평양 표준시)
롤백 후 다시 처리된 모든 동기화 작업이 완료되었고 Explore 데이터 동기화가 정상으로 돌아갔습니다. 이로써 이 사건이 해결되었습니다. 조사하는 동안 기다려 주셔서 감사합니다.
00:18 UTC | 16:18(태평양 표준시)
영향을 받는 고객에 대한 동기화 작업을 계속 수동으로 다시 처리하며 공유할 실질적인 정보가 있으면 또 다른 업데이트를 제공할 것입니다.
20:58 UTC | 12:58(태평양 표준시)
티켓 데이터 집합 업데이트에 지연을 일으킨 Explore 업데이트의 롤백을 완료했습니다. 수동으로 동기화 작업을 다시 처리 중입니다. 공유할 새 정보가 있으면 또 다른 업데이트를 제공하겠습니다.
20:11 UTC | 12:11(태평양 표준시)
최근 출시된 업데이트의 일부 Explore 고객에 대한 티켓 데이터 집합에서 오늘 동기화 지연 및 오류의 잠재적인 근본 원인을 찾았습니다. 해당 업데이트를 롤백하기 위해 노력 중이며 결과를 모니터링 중입니다. 새로운 연구 결과를 공유하는 대로 추가 업데이트를 제공하겠습니다.
19:06 UTC | 11:06(태평양 표준시)
여러 POD 및 지역에 걸쳐 Explore의 티켓 데이터 집합에 대한 동기화 지연 및 오류를 일으키는 문제를 여전히 조사 중입니다. 저희 팀이 약간의 진전을 보였지만 일부 계정에서는 여전히 지연이 발생했습니다. 새로운 정보를 찾는 대로 계속 게시하겠습니다.
18:10(UTC) | 10:10(태평양 표준시)
Zendesk 팀은 여러 POD 및 지역에 걸쳐 있는 일부 Explore 고객의 티켓 데이터 집합에서 동기화 지연 및 오류를 일으키는 문제를 계속 조사하고 있습니다. 조사가 진행되는 대로 추가 업데이트를 제공해 드리겠습니다.
17:40(UTC) | 09:40(태평양 표준시)
여러 POD 및 지역에 걸쳐 Explore의 티켓 데이터 집합에서 동기화 지연 및 오류를 일으키는 문제를 확인했습니다. 저희 팀에서 조사 중이며 자세한 내용이 확인되는 대로 추가 정보를 게시하겠습니다.
17:29 UTC | 09:29(태평양 표준시)
여러 POD 및 지역에 걸친 티켓 데이터 집합의 Explore 동기화 지연에 대한 보고서를 조사 중입니다. 곧 추가 업데이트를 제공하겠습니다.
사후
근본 원인 분석
배경: Zendesk는 고객을 위해 정기적으로 데이터를 수집하는 시스템(Explore ETL)을 갖추고 있습니다. 이 시스템은 데이터 수집의 실제 프로세스를 처리합니다. 수집된 데이터는 저장된 후 추가 처리됩니다. 티켓당 상당히 많은 양의 데이터가 있는 계정의 데이터 수집에 문제가 발생했습니다. 이렇게 많은 양의 정보로 인해 메모리가 포화되어 오류가 발생하고 데이터 처리 속도가 느려졌습니다.
또한 최근 서버 유지 관리 업그레이드로 인해 메모리 가비지 수집 실행 방식이 변경되어 메모리 소모가 증가하여 문제가 더욱 악화되었습니다.
해결
문제를 파악한 후 작업의 우선 순위를 정하고 서버를 다시 시작하여 과부하를 관리하려고 시도했습니다. 추가 조사와 다른 팀의 지원 끝에 서버 업그레이드 문제가 원인임을 파악하고 이전 버전으로 롤백했습니다. 그런 다음 작업 처리가 정상으로 돌아갔습니다.
수정 항목
다음 단계는 다음과 같은 많은 조치를 취하여 향후 그러한 사건을 방지하는 것입니다.
1. 티켓 데이터의 페이로드 크기를 제한합니다.
2. 새로운 가비지 수집 작업으로 인한 메모리 소모 증가를 고려하여 서버 유지 관리 업그레이드를 재평가하세요.
3. 프로덕션 부하를 더 잘 모방하고 이와 같은 시나리오를 정확하게 테스트할 수 있도록 테스트 환경을 개선하세요.
자세한 정보
Zendesk에 대한 현재 시스템 상태 정보는시스템 상태 페이지를 참조하세요. 사후 조사 요약은 보통 인시던트가 종료되고 며칠 후 여기에 게시됩니다. 이 인시던트에 대해 추가 질문이있으시면 위젯 내에서 ZBot 메시징을 통해 티켓을 기록해 주세요.
번역 고지 사항: 본 문서는 콘텐츠에 대한 기본적인 이해를 제공하기 위해 자동 번역 소프트웨어를 사용하여 번역되었습니다. 정확한 번역을 제공하고자 합당한 노력을 기울였으나 Zendesk는 번역의 정확성을 보장하지 않습니다.
번역된 문서에 포함된 정보의 정확성과 관련하여 질문이 있으시면 문서의 공식 버전인 영문 버전을 참조하시기 바랍니다.