지각 도착한 텔레메트리가 시간별 집계에서 사라지는 문제 — 도착 곡선에 맞춘 4단 재집계 사다리

QoS 0로 늦게 도착한 프로세스 데이터가 raw에는 있는데 hourly 집계에는 없는 구멍. 매시간 최근 24시간을 전부 재집계하는 창 방식 대신, 실측 누적 도착 곡선의 계단을 노려 이득이 몰린 지점만 재방문하는 설계로 8배 저렴하게 구멍을 메운 기록.

요약

늦게 도착한 sprocess(프로세스 스냅샷)가 sprocess_hourly 집계에 반영되지 않는다. raw에는 데이터가 있는데 화면에는 없는 구멍이 생긴다. 집계 데몬이 "직전 1시간"과 "현재 진행 중 시간"만 집계하고, 지나간 시간은 다시 집계하지 않기 때문이다.

지금 무슨 일이 생기나

에이전트는 (SUID, hour) 버킷 단위로 sprocess를 올린다. 네트워크 상황이나 전송 정책(재전송 주기 15분) 때문에 hour H의 데이터가 H+1 시간대 이후에 도착하는 경우가 생긴다.

현재 집계 트리거
  hourly cron    : 매시 :05  -> 직전 hour 만
  hourly partial : :15~:55   -> 현재 진행 중 hour 만

hour H 데이터가 (H+1):05 이후에 도착하면
  -> cron 은 이미 지나갔고
  -> partial 은 현재 hour 만 보므로
  -> sprocess_hourly 에 영영 반영되지 않음 (raw 에는 존재)

에이전트 쪽 전송 유실(QoS 0 fire-and-forget)은 의도된 설계다. 다수 노드 기준으로 전체 흐름을 보는 것이 목적이고, QoS 1로 올려 서버 부하를 늘리지 않겠다는 판단이다. 다만 유실분은 재전송 주기(15분)마다 다시 올라오므로, 그 늦게 도착한 데이터를 서버가 집계에 넣어주면 구멍이 메워진다.

왜 단순 N시간 재집계로 하지 않나

cron이 직전 3~4시간을 매번 재집계하는 방법이 가장 간단하지만, 규모를 재보니 큰 고객사에서 부담이 된다. 개발 서버 실측 기준 노드당 시간당 약 110행이 쌓인다(sprocess 시간당 1,878행 / 기여 노드 17대).

항목현재(17 노드)1만 노드 환산
시간당 sprocess 행1,878약 110만
집계 1회가 훑는 양1,878행 (~6MB)110만행 (~3.7GB)
시간당 집계 실행7회7회
시간당 총 스캔약 1.3만행약 770만행 (~26GB)
직전 3시간 재집계 추가 시9회약 33GB (+29%)
  • 읽기만 늘어나는 게 아니라 $merge(whenMatched: replace) 쓰기도 같이 는다. 결과가 같아도 매번 다시 쓴다.
  • 재집계가 필요한 경우는 실제로는 드문데(늦게 온 데이터가 있을 때만), 항상 재집계가 도는 구조가 된다.

1만 노드 환산치는 실측 근거가 없다(개발 서버는 17~23 노드). 그 규모 판단이 필요하면 부하 시험 환경에서 재보는 것이 맞다.

기각한 대안 — "지각 표시" 방식

처음엔 생산자가 "이미 지나간 시간의 데이터를 받았다"를 표시하고, 소비자가 그 표시만 보고 그 시간만 재집계하는 방식을 제안했다. 하지만 설계의 전제 — "배치 하나에서 나오는 과거 hour 종류는 보통 0~1개" — 를 개발 서버에서 실측했더니 크게 달랐다.

  • 벽시계 매 시간마다 표시 대상이 될 과거 hour가 2136개(가장 오래된 것이 3244시간 전).
  • 노드별로 전체 sprocess doc의 88~99.5%가 그 hour의 cron 이후에 최소 한 번 다시 쓰인다.

에이전트가 지난 버킷을 계속 재전송하고, 그 대부분이 내용이 같은 재전송이기 때문이다. 즉 표시는 "데이터가 왔다"만 알려주고 "값이 바뀌었다"는 못 알려준다. 수집기가 메시지마다 수신시각을 갱신하므로 DB로도 두 경우를 구분할 수 없다. 이 조건에서는 표시 방식의 안전장치(1회 6시간 상한 등)가 오히려 밀리거나 커진다.

채택 근거 — 지각의 대부분은 "간발의 차"

한 hour 버킷의 내용은 그 hour가 끝나는 순간 확정된다(3시 버킷에 4시 데이터가 더해질 수 없음). 따라서 cron 이후의 변화는 전부 배달 지연이고, 그렇다면 "언제 다시 보면 되는가"는 배달 곡선이 정한다.

doc _id에 박힌 생성 시각(= 최초 도착 시각, 재전송에 오염되지 않음)으로 확정된 hour 10.4만 건을 측정한 누적 도착률이다.

도착 시점doc 누적(SUID,hour) 행 누적
~1h05m (현재 cron)95.8%97.1%
~1h30m97.9%98.4%
~6h98.2%98.7%
~12h98.7%99.2%
~24h99.2%99.5%

놓치던 것의 절반이 cron 직후 25분 안에 도착한다. 재전송 주기(15분)에 한두 번 실패하면 cron 시각을 살짝 넘기기 때문이다. 곡선이 계단식이라 연속된 창을 훑을 필요가 없고, 이득이 몰린 지점만 보면 된다.

조치 — 4단 재집계 사다리

process_aggregator.py의 hourly 트리거에 지각 회수용 패스를 추가했다. 기존 파이프라인을 그대로 재사용하므로($merge whenMatched: replace라 멱등) 신규 컬렉션·수집기 변경이 없다.

rung시각(UTC)대상노리는 상황
recheck매시 :40 이후1시간 전 hourcron 직후 25분에 몰린 지각
final매시 :50 이후25시간 전 hour하루 내 꼬리
deep3d매시 :20 이후72시간 전 hour일반 주말(PC 꺼짐)
deep5d매시 :30 이후120시간 전 hour3일 연휴

recheck/final 2단으로 시작했다가, "주말에 PC를 끄면 더 옛날 hour도 받아야 한다"는 지적을 실측으로 확인하고 deep3d/deep5d를 더해 4단으로 확장했다.

비용은 각 집계 1회(실측 130~160ms)라 시간당 약 0.3초 추가다. 매시 최근 24시간을 재집계하는 창 방식은 평평한 구간을 헛돌아 같은 회수율에 약 8배가 든다.

개선 확인

배포 전 기준선(나이 3~26시간 hour 24개): 미반영 행 7.4%(hour별 중앙값 4.6%, 최대 18.5%). 마무리 패스가 처리한 hour를 즉시 비교한 결과는 아래와 같다.

hour미반영
방금 final 실행0%
아직 미처리 (이웃 2개)12.8% / 12.4%

남은 경계 — 에이전트 재전송 지평

서버가 몇 시간까지 되돌아봐야 하는지는 에이전트의 재전송 지평이 정한다. 현재는 32~44시간 전 버킷까지 올라온다. 쟁점은 재전송 주기(15분)가 아니라 기간이다. 지평을 예컨대 3시간으로 묶으면 서버는 그 안에서 끝나고 회수율이 확정되지만, 지금처럼 열려 있으면 서버가 어느 시점을 잡든 그보다 늦게 오는 데이터는 남는다. 서버 쪽 마무리 시점은 에이전트 재전송 지평에 맞춰 조정하는 것이 최종 정합이다.

Orange Platform 프로세스 텔레메트리 시간별 집계 파이프라인 트러블슈팅 리포트입니다.