탐지가 서버에 며칠 늦게 도착했는데 실제로는 유실도 지연도 아니었던 경우

PC 세 대에서 탐지한 시각과 서버에 도착한 시각 사이가 최대 6일까지 벌어졌다. 에이전트가 쥐고 있다가 늦게 보낸 것처럼 보였지만, 탐지 시각과 마지막 수신 시각을 초 단위까지 맞춰 보니 PC가 꺼져 있던 시간과 정확히 일치했다. 늦은 도착과 전송 실패를 가르는 데 쓴 시간 상관관계 분석을 정리한다.

증상

한 대학교의 PC 세 대에서 탐지 시각과 서버 도착 시각 사이가 크게 벌어진 사례가 보고됐다.

PC탐지서버 도착늦음
PC A11-04 08:57Z11-10 05:05Z6일
PC B——5일
PC C——9시간

에이전트가 탐지를 만든 시각과 서버가 그 기록을 받은 시각은 둘 다 서버에 저장돼 있다(각각 EventTime, firsttime). 이 차이가 "에이전트가 로컬에 쥐고 있다가 늦게 보낸 것"인지, "전송에 실패해 묵혀 둔 것"인지를 가려야 했다. 둘은 원인과 대책이 전혀 다르다.

탐지가 지나는 경로

탐지는 생기는 즉시 로컬 파일 DB(server_data)에 Send=0으로 들어간다. 따로 모았다가 주기적으로 보내는 큐가 아니라, 생성 즉시 전송을 시도한다. 전송에 성공하면 Send=1로 바뀐다.

여기서 과거 버전(1146 이전)에는 약점이 있었다. 전송에 실패해도 Send=1인 채로 남는 경로가 있었고, 이 값을 다시 0으로 되돌리는 곳은 에이전트가 시작할 때 한 번뿐이었다(SERVERDATA_RESET). 그래서 1146 이전 버전은 전송에 실패한 탐지가 다음 재시작 때 한꺼번에 나갔는데, 이 모양이 "재시작 뒤 며칠 늦게 도착"과 겉보기로 같다. 1146부터는 전송 실패 시 즉시 Send=0으로 되돌리고 맨 뒤로 재삽입하도록 바뀌었고, 1153부터는 QoS1로 전환해 서버의 PUBACK을 받아야 로컬에서 지우도록 더 강화돼 있었다.

세 PC의 에이전트 버전은 탐지 시점과 도착 시점 모두 1136으로 같았다. 1146 이전 버전이라 이론상 "전송 실패 후 재시작 때 한꺼번에 나감" 경로가 적용될 수 있었지만, 그 경로가 실제로 작동했는지는 별도로 확인해야 했다.

접속 이력으로 1차 확인

서버에 남은 시간 단위 접속 기록(5분 단위 metric 버킷)으로 각 PC가 언제까지 온라인이었는지를 봤다.

  • PC A: 11-04 06~08시대 접속 이후 11-10 05시대까지 기록이 없다. 그 사이 약 5일 20시간.
  • PC B: 11-05 04~06시대 이후 11-10 01시대까지 없다. 약 4일 19시간.
  • PC C: 11-09 0014시대는 매시간 기록이 있다가 1522시대가 비고, 23시대부터 다시 나온다. 약 8시간.

세 건 모두 모양이 같았다. 그날 마지막 사용 끝 무렵에 탐지가 발생하고, 곧바로 접속 기록이 끊기고, 다음 부팅·에이전트 시작 뒤 20~40초 안에 서버에 도착했다. PC가 꺼져 있던 시간만큼 늦게 도착한 것처럼 보였다.

다만 이 수준의 시간 단위 버킷만으로는 "탐지 직후 곧바로 꺼졌는지"와 "몇 분 혹은 몇 시간 더 접속한 채로 있다가 전송에 실패했는지"를 가를 수 없었다. 두 경우 모두 "그 시간대 접속 기록 없음"으로 보이기 때문이다. 이 구분이 중요했다 — 몇 초 안에 꺼진 것이라면 종료 중 생긴 탐지를 못 보낸 정상적인 상황이지만, 몇 분 이상 접속 중이었는데 안 나갔다면 과거 버전의 전송 실패 경로가 실제로 발동한 것이 된다.

초 단위로 좁히기

시간 단위 버킷 대신, 서버가 받은 다른 종류의 기록(초 단위로 찍히는 개별 탐지 수신 시각, 5분 단위 metric 버킷의 마지막 창)을 모아 탐지 시각 바로 앞뒤를 좁혔다.

PC탐지 시각(PC 시계)마지막 수신다음 수신
PC A11-04 08:57:54.672탐지 4.3초 전까지 수신 중(초 단위 확정)11-10 05:05:31
PC B11-05 06:42:21.121마지막 5분 버킷(06:35~06:40) 안 — PC 시계가 서버보다 약 5분 빠름을 보정하면 탐지는 이 버킷 안에 들어감11-10 01:54:13
PC C11-09 14:31:21.587마지막 5분 버킷(14:25~14:30) 종료 약 1분 뒤11-09 23:05:10

PC A는 탐지 4.3초 전까지 서버와 정상적으로 통신하고 있었다. 직전 탐지의 EventTime과 수신 시각 차이가 3.8초였던 것으로 보면 PC 시계도 서버와 거의 맞았다. 즉 탐지가 발생한 순간과 거의 동시에 통신이 끊겼다. PC B와 PC C는 5분 버킷 정밀도까지만 확인됐지만, 둘 다 탐지 시각이 마지막 접속 버킷과 같은 구간이거나 그 직후였다.

세 건 모두 탐지 발생과 접속 종료 사이에 몇 분 이상의 간격이 없었다. "접속 중인데 못 보낸" 경우가 아니라, "보내려는 순간 PC가 꺼진" 경우였다.

결론

탐지는 PC를 끄는 중에 생겨 그 자리에서 전송하지 못했고, PC가 꺼져 있던 기간만큼 늦게 도착했을 뿐 유실은 없었다. 로컬 파일 DB에 남아 있던 탐지는 다음 부팅과 에이전트 시작 20~40초 안에 순서대로(SERVERDATA_RESET 이후 저장 순번대로) 전부 전송됐다.

이 동작을 바꿀 계획은 없다. 종료 처리 중에 전송 완료를 기다리게 하면 PC 종료 자체가 늦어지는데, 이는 "전송 보장보다 PC 동작 지연을 막는 것이 먼저"라는 원칙에 어긋난다. 지금처럼 로컬에 남겨 두고 다음 기동 때 보내는 동작이 이 원칙에 맞는 설계다.

남은 일

서버는 탐지가 실제로 발생한 시각(EventTime)과 서버에 도착한 시각(firsttime)을 둘 다 갖고 있다. 화면에서 이 둘의 차이를 어떻게 보여줄지 — 예를 들어 PC가 오래 꺼져 있다가 올라와 쌓인 탐지를 "지금 막 생긴 일"처럼 보이지 않게 하는 것 — 는 매니저 화면 쪽에서 따로 판단할 일로 남겼다.


Orange Platform의 탐지 지연 원인 진단 사례 정리입니다.