Justin H

요약

2024년 3월 5일 19:50(UTC)부터 22:06(UTC)까지 일부 Talk 고객에게 전화를 걸거나, 받거나, 돌릴 수 없는 등의 연결 문제가 발생했을 수 있습니다. 

 

일정

21:36 UTC | 13:36(태평양 표준시)

전화를 걸거나, 받거나, 돌릴 수 없는 것을 포함하여 Talk 연결 문제에 대한 보고서를 조사 중입니다. 15분 후 또는 추가 정보가 있을 때 다음 업데이트를 제공합니다.

22:06(UTC) | 14:06(태평양 표준시)

저희 엔지니어들이 전화를 걸거나, 받거나, 돌릴 수 없는 것을 포함하여 Talk 연결 문제에 대한 보고서를 계속 조사합니다. 30분 후 또는 추가 정보가 있을 때 다음 업데이트를 합니다.

22:32(UTC) | 14:32(태평양 표준시)

전화를 걸거나, 받거나, 돌릴 수 없는 Talk 관련 문제에 대한 조사가 계속됩니다. 1시간 후 또는 공유할 새 정보가 있을 때 다음 업데이트를 합니다.

23:31(UTC) | 15:31(태평양 표준시)

Zendesk 엔지니어들이 변경 내용을 롤백했으며 일부 복구가 이루어지고 있습니다. 앞으로 24시간 동안 계속해서 성능을 모니터링하여 그 시점에 업데이트를 제공할 것입니다.

3월 6일 - 10:59(UTC) | 02:59(태평양 표준시)

Talk 기능이 완전히 복원되었으며 고객 피드백과 내부 모니터링을 통해 정상적으로 작동하는 것으로 확인되었습니다. 양해해 주셔서 감사합니다. 이제 이 인시던트가 해결되었습니다.

 

사후

근본 원인 분석

이 사건은 미국에 있는 일부 고객의 현지 ISP 문제로 인해 발생한 것으로 보입니다.

해결

이 문제를 해결하기 위해 처음에는 최근 Talk 변경 내용을 롤백했습니다. 하지만 조사 결과 ISP 서비스 중단이 영향을 미치는 범위에 더 정확하게 부합하는 것으로 나타났습니다.

수정 항목

1. 발신 전화 실패에 대한 모니터링 및 알림을 개선하세요.
2. 비슷한 상황에서 더 빨리 알림을 받을 수 있도록 Zendesk 제공업체와 협력하여 알림 임계값을 조정하세요.
3. 문제 해결 런북을 개선하여 범위를 더욱 정확하게 평가하세요.

 

자세한 정보

Zendesk에 대한 현재 시스템 상태 정보는시스템 상태 페이지를 참조하세요. 사후 조사 요약은 보통 인시던트가 종료되고 며칠 후 여기에 게시됩니다. 이 인시던트에 대해 추가 질문이있으시면 위젯 내에서 ZBot 메시징을 통해 티켓을 기록해 주세요.

요약

2024년 3월 5일(UTC) 15:30(UTC)부터 18:25(UTC)까지 소셜 메시징 채널을 사용하는 모든 POD의 Sunshine Conversations 고객은 Meta의 서비스 중단으로 인해 심각한 서비스 중단을 경험했을 수 있습니다. 이 서비스 중단은 주로 WhatsApp에 영향을 미쳤으며 Facebook Messenger 및 Instagram에도 상당한 영향을 미쳐 이러한 채널을 통한 발신 트래픽이 부분적으로 중단되었습니다.

일정

16:30(UTC) | 08:30(태평양 표준시)
Facebook, Messenger, WhatsApp 및 Instagram을 포함하여 Meta에서 제공하는 모든 소셜 메시징 채널에 영향을 미치는 문제를 확인했습니다. 파트너 제공업체에서 문제를 해결하면 또 다른 업데이트를 제공하겠습니다.

17:51 UTC | 09:51(태평양 표준시)
Meta에서 제공하는 모든 소셜 메시징 채널의 사용에 영향을 미치는 문제가 복구되기 시작했습니다. Zendesk는 파트너 제공업체와 계속 협력하여 문제가 완전히 해결될 때까지 상황을 모니터링할 것입니다.

19:15(UTC) | 11:15(태평양 표준시)
Meta에서 제공하는 모든 소셜 메시징 채널에서 수신 및 발신 메시지가 지연되는 문제가 해결되었으며 현재 이러한 채널에서 예상대로 메시지를 처리하고 있습니다. 파트너 제공업체와 협력하는 동안 기다려 주셔서 감사합니다.

 

사후

근본 원인 분석

이 사건은 Meta 서비스의 문제, 특히 WhatsApp Cloud API에 영향을 미치는 문제로 인해 발생했습니다. Meta는 정확한 근본 원인을 공개하지 않았지만 서비스 중단을 인정하고 서비스를 복원하기 위해 노력했습니다. 이 기간 동안 Sunshine Conversations의 모니터링 시스템에서 영향을 받는 채널을 통해 메시지를 보내려고 할 때 높은 오류 발생을 감지했습니다.

해결

서비스 중단 문제의 해결은 전적으로 Meta의 복구 노력에 달려 있었습니다. Sunshine Conversations는 상황을 면밀히 모니터링하여 고객에게 업데이트를 제공했습니다. Meta에서 서비스가 복원되었다고 발표한 후 Sunshine Conversations는 발신 트래픽이 정상 수준으로 다시 시작되었고 메시지가 소셜 메시징 채널을 통해 성공적으로 전달되고 있음을 확인했습니다.

수정 항목

1. 발신 트래픽 상태에 대한 모니터링을 개선합니다.
2. 기본 지원 포털을 사용할 수 없는 경우 Meta와의 대체 커뮤니케이션 채널을 포함하도록 인시던트 대응 계획을 검토하고 업데이트합니다.

 

자세한 정보

Zendesk에 대한 현재 시스템 상태 정보는시스템 상태 페이지를 참조하세요. 사후 조사 요약은 보통 인시던트가 종료되고 며칠 후 여기에 게시됩니다. 이 인시던트에 대해 추가 질문이있으시면 위젯 내에서 ZBot 메시징을 통해 티켓을 기록해 주세요.

요약

사후

근본 원인 분석

이 인시던트는 메타데이터 내에서 null 값으로 웹훅 이벤트를 구문 분석하려고 할 때 이벤트 처리 서비스에서 오류가 생성된 이스케이프된 결함으로 인해 발생했습니다.

해결

이 문제를 해결하기 위해 메타데이터 개체의 null 값이 허용되도록 코드 논리가 업데이트되었습니다.  계속해서 상황을 모니터링한 결과 이 변경 후 Pod 26에서 오류가 더 이상 발생하지 않음을 로그에서 확인했습니다.

수정 항목

1. 메타데이터 개체에서 null 값을 허용하도록 Sunshine Conversation 공개 문서 업데이트[예약됨]
2. 그러한 오류에 대한 모니터링 알림 추가하기 [완료]

자세한 정보

Zendesk에 대한 현재 시스템 상태 정보는시스템 상태 페이지를 참조하세요. 사후 조사 요약은 보통 인시던트가 종료되고 며칠 후 여기에 게시됩니다. 이 인시던트에 대해 추가 질문이있으시면 위젯 내에서 ZBot 메시징을 통해 티켓을 기록해 주세요.

요약

2023년 11월 28일 13:14(UTC)부터 17:14(UTC)까지 여러 POD를 사용하는 Zendesk Talk 고객의 Talk/전화 아이콘이 사라지는 현상이 발생했으며, 일부 고객에게는 많은 수의 부재중 전화가 표시된 Explore 보고서가 표시되었습니다. 

일정

사후

근본 원인 분석

이 인시던트는 테스트 프로세스 동안 보이지 않았던 이스케이프된 결함이 포함된 소프트웨어 수정으로 인해 발생했습니다.  이 수정으로 인해 음성 활동을 로드하는 동안 항상 사용할 수 없었던 변수가 발생하여 상담사가 타사 앱을 설치한 시나리오에서 로드가 중단되고 통화 아이콘이 나타나지 않았습니다.

해결

이 문제를 해결하기 위해 이전 소프트웨어 버전으로 롤백한 결과 복구가 확인되었습니다.

수정 항목

1. 타사 앱이 있을 때 통화 아이콘이 로드되는지 확인하는 테스트 시나리오를 추가합니다. [예약됨]
2. 음성 활동 실패 시 모니터 및 알림 추가하기 문서를 참조하세요. [예약됨]

자세한 정보

Zendesk에 대한 현재 시스템 상태 정보는시스템 상태 페이지를 참조하세요. 사후 조사 요약은 보통 인시던트가 종료되고 며칠 후 여기에 게시됩니다. 이 인시던트에 대해 추가 질문이있으시면 위젯 내에서 ZBot 메시징을 통해 티켓을 기록해 주세요.

요약

2023년 11월 16일 18:02(UTC)부터 20:00(UTC)까지 POD 13, 17, 19, 23, 28 및 29의 일부 Support 고객이 수신 이메일 수신이 지연되거나 아예 중단되는 일이 있었습니다. 지연 시간은 이메일을 보낸 후부터 Google 관리 서비스를 통해 Zendesk에서 티켓을 만들 때까지 15분에서 60분까지 다양했습니다.

일정

18:53 UTC | 10:53(태평양 표준시)
POD 28 및 29에서 고객의 수신 이메일이 처리되지 않는다는 보고서를 조사 중입니다. 곧 추가 정보를 제공해 드리겠습니다.

18:57 UTC | 10:57(태평양 표준시)
POD 13, 19, 23, 28 및 29에서 고객의 수신 이메일 처리가 지연되는 문제를 확인했습니다. 현재 조사 중이며 추가 업데이트가 제공되는 대로 제공하겠습니다.

19:33(UTC) | 11:33(태평양 표준시)
Zendesk 팀은 POD 13, 17, 19, 23, 28 및 29에서 수신 이메일 처리 지연을 일으키는 문제를 계속 조사하고 있습니다. Zendesk는 영향을 완화하기 위해 최선을 다하고 있으며 가능한 한 빨리 새 정보를 공유할 것입니다.

19:54 UTC | 11:54(태평양 표준시)
POD 13, 17, 19, 23, 28 및 29에서 수신 이메일 처리가 지연되는 문제가 개선되기 시작했습니다. 저희 팀은 완전한 복구를 보장하기 위해 계속 모니터링할 것입니다. 

21:14(UTC) | 13:14(태평양 표준시)
POD 13, 17, 19, 23, 28 및 29에서 고객의 수신 이메일 지연을 야기하는 문제를 해결했으며 현재 수신 이메일이 예상대로 처리되고 있습니다. 조사하는 동안 기다려 주셔서 감사합니다.

 

사후

근본 원인 분석

이 인시던트는 메일 가져오기 서비스에 Gmail과의 연결 문제가 발생하여 Support에서 수신 메일 처리가 중단되어 발생했습니다. 여기서 Gmail의302 이동됨 응답은 활성도 검사에서 실패로 해석되어 컨테이너 조정자에게 POD가 비정상임을 나타냅니다. 이로 인해 오케스트레이터가 POD를 교체하고 관련 컨테이너에서 메일 처리를 중단하여 수신 메일이 지연되거나 중단되었습니다.

해결

이 문제를 해결하기 위해 Gmail에서 상태 확인 차단을 중지한 후 수신 메일 트래픽이 복원되어 Support 수신 이메일이 POD 만들기를 마치고 메일 처리를 다시 시작할 수 있게 되었습니다. 얼마 지나지 않아 수신 메일 대기열이 늘어나 트래픽이 정상적으로 흐르기 시작했습니다.

수정 항목

1. 이메일 상태 확인을 위한 기존 구현 도구를 개선합니다. 
2. 추가 알림을 만듭니다. 
3. 특정 애플리케이션에 수정 코드 라인을 추가합니다.

 

자세한 정보

Zendesk에 대한 현재 시스템 상태 정보는시스템 상태 페이지를 참조하세요. 사후 조사 요약은 보통 인시던트가 종료되고 며칠 후 여기에 게시됩니다. 이 인시던트에 대해 추가 질문이있으시면 위젯 내에서 ZBot 메시징을 통해 티켓을 기록해 주세요.

Hey shelley,

I suspect that this could be achieved using a custom attribute to filter out tickets with singular engagements. 

Hello Oanh Chau, 

You should be able to make a report like this in the Support: Tickets Dataset. The screenshot below is a bare bones idea of what metrics and attributes you would need to use: 

The Test Tag Inclusion metric I have here uses the following formula to display only solved tickets with the tags you specify: 

IF (([Ticket status - Unsorted] = "Solved" OR [Ticket status - Unsorted] = "Closed")) 
AND (INCLUDES_ANY([Ticket tags], "your_tag_here"))
THEN [Ticket ID]
ENDIF

You would need to make two custom metrics for your Large and Super Large tags, so they will show as separate columns in your report. 

Hey Bobby Koch, 

The backlog snapshots occur at midnight daily. To view the most current totals for outstanding tickets, we recommend using the Tickets dataset. 

Hey Joel Sandi, 

To answer your first question, you should be able to report on ticket information with an Explore Report using the Guide: Knowledge Capture dataset. There is a set of attributes categorized as "ticket" that allow you to look closer at ticket data from the Knowledge Capture App. 

As for your second question, the articles linked per ticket metric, as well as all the metrics under the "Knowledge Capture" Dashboard tab, are meant to gauge performance metrics of the Knowledge Capture application, primarily. From a business value perspective, the articles linked per ticket metric could show pain points for your staff in your Knowledge Base. I would assume that ideally, you would want this number to be as close to 1 as possible (1 article for each ticket). 

Hey Jacqui, 

Are you using bookmarks to capture the desired time range in this dashboard?