요약
늦게 도착한 sprocess(프로세스 스냅샷)가 sprocess_hourly 집계에 반영되지 않는다. raw에는 데이터가 있는데 화면에는 없는 구멍이 생긴다. 집계 데몬이 "직전 1시간"과 "현재 진행 중 시간"만 집계하고, 지나간 시간은 다시 집계하지 않기 때문이다.
지금 무슨 일이 생기나
에이전트는 (SUID, hour) 버킷 단위로 sprocess를 올린다. 네트워크 상황이나 전송 정책(재전송 주기 15분) 때문에 hour H의 데이터가 H+1 시간대 이후에 도착하는 경우가 생긴다.
현재 집계 트리거
hourly cron : 매시 :05 -> 직전 hour 만
hourly partial : :15~:55 -> 현재 진행 중 hour 만
hour H 데이터가 (H+1):05 이후에 도착하면
-> cron 은 이미 지나갔고
-> partial 은 현재 hour 만 보므로
-> sprocess_hourly 에 영영 반영되지 않음 (raw 에는 존재)
에이전트 쪽 전송 유실(QoS 0 fire-and-forget)은 의도된 설계다. 다수 노드 기준으로 전체 흐름을 보는 것이 목적이고, QoS 1로 올려 서버 부하를 늘리지 않겠다는 판단이다. 다만 유실분은 재전송 주기(15분)마다 다시 올라오므로, 그 늦게 도착한 데이터를 서버가 집계에 넣어주면 구멍이 메워진다.
왜 단순 N시간 재집계로 하지 않나
cron이 직전 3~4시간을 매번 재집계하는 방법이 가장 간단하지만, 규모를 재보니 큰 고객사에서 부담이 된다. 개발 서버 실측 기준 노드당 시간당 약 110행이 쌓인다(sprocess 시간당 1,878행 / 기여 노드 17대).
| 항목 | 현재(17 노드) | 1만 노드 환산 |
|---|---|---|
| 시간당 sprocess 행 | 1,878 | 약 110만 |
| 집계 1회가 훑는 양 | 1,878행 (~6MB) | 110만행 (~3.7GB) |
| 시간당 집계 실행 | 7회 | 7회 |
| 시간당 총 스캔 | 약 1.3만행 | 약 770만행 (~26GB) |
| 직전 3시간 재집계 추가 시 | 9회 | 약 33GB (+29%) |
- 읽기만 늘어나는 게 아니라
$merge(whenMatched: replace) 쓰기도 같이 는다. 결과가 같아도 매번 다시 쓴다. - 재집계가 필요한 경우는 실제로는 드문데(늦게 온 데이터가 있을 때만), 항상 재집계가 도는 구조가 된다.
1만 노드 환산치는 실측 근거가 없다(개발 서버는 17~23 노드). 그 규모 판단이 필요하면 부하 시험 환경에서 재보는 것이 맞다.
기각한 대안 — "지각 표시" 방식
처음엔 생산자가 "이미 지나간 시간의 데이터를 받았다"를 표시하고, 소비자가 그 표시만 보고 그 시간만 재집계하는 방식을 제안했다. 하지만 설계의 전제 — "배치 하나에서 나오는 과거 hour 종류는 보통 0~1개" — 를 개발 서버에서 실측했더니 크게 달랐다.
- 벽시계 매 시간마다 표시 대상이 될 과거 hour가 21
36개(가장 오래된 것이 3244시간 전). - 노드별로 전체 sprocess doc의 88~99.5%가 그 hour의 cron 이후에 최소 한 번 다시 쓰인다.
에이전트가 지난 버킷을 계속 재전송하고, 그 대부분이 내용이 같은 재전송이기 때문이다. 즉 표시는 "데이터가 왔다"만 알려주고 "값이 바뀌었다"는 못 알려준다. 수집기가 메시지마다 수신시각을 갱신하므로 DB로도 두 경우를 구분할 수 없다. 이 조건에서는 표시 방식의 안전장치(1회 6시간 상한 등)가 오히려 밀리거나 커진다.
채택 근거 — 지각의 대부분은 "간발의 차"
한 hour 버킷의 내용은 그 hour가 끝나는 순간 확정된다(3시 버킷에 4시 데이터가 더해질 수 없음). 따라서 cron 이후의 변화는 전부 배달 지연이고, 그렇다면 "언제 다시 보면 되는가"는 배달 곡선이 정한다.
doc _id에 박힌 생성 시각(= 최초 도착 시각, 재전송에 오염되지 않음)으로 확정된 hour 10.4만 건을 측정한 누적 도착률이다.
| 도착 시점 | doc 누적 | (SUID,hour) 행 누적 |
|---|---|---|
| ~1h05m (현재 cron) | 95.8% | 97.1% |
| ~1h30m | 97.9% | 98.4% |
| ~6h | 98.2% | 98.7% |
| ~12h | 98.7% | 99.2% |
| ~24h | 99.2% | 99.5% |
놓치던 것의 절반이 cron 직후 25분 안에 도착한다. 재전송 주기(15분)에 한두 번 실패하면 cron 시각을 살짝 넘기기 때문이다. 곡선이 계단식이라 연속된 창을 훑을 필요가 없고, 이득이 몰린 지점만 보면 된다.
조치 — 4단 재집계 사다리
process_aggregator.py의 hourly 트리거에 지각 회수용 패스를 추가했다. 기존 파이프라인을 그대로 재사용하므로($merge whenMatched: replace라 멱등) 신규 컬렉션·수집기 변경이 없다.
| rung | 시각(UTC) | 대상 | 노리는 상황 |
|---|---|---|---|
| recheck | 매시 :40 이후 | 1시간 전 hour | cron 직후 25분에 몰린 지각 |
| final | 매시 :50 이후 | 25시간 전 hour | 하루 내 꼬리 |
| deep3d | 매시 :20 이후 | 72시간 전 hour | 일반 주말(PC 꺼짐) |
| deep5d | 매시 :30 이후 | 120시간 전 hour | 3일 연휴 |
recheck/final 2단으로 시작했다가, "주말에 PC를 끄면 더 옛날 hour도 받아야 한다"는 지적을 실측으로 확인하고 deep3d/deep5d를 더해 4단으로 확장했다.
비용은 각 집계 1회(실측 130~160ms)라 시간당 약 0.3초 추가다. 매시 최근 24시간을 재집계하는 창 방식은 평평한 구간을 헛돌아 같은 회수율에 약 8배가 든다.
개선 확인
배포 전 기준선(나이 3~26시간 hour 24개): 미반영 행 7.4%(hour별 중앙값 4.6%, 최대 18.5%). 마무리 패스가 처리한 hour를 즉시 비교한 결과는 아래와 같다.
| hour | 미반영 |
|---|---|
| 방금 final 실행 | 0% |
| 아직 미처리 (이웃 2개) | 12.8% / 12.4% |
남은 경계 — 에이전트 재전송 지평
서버가 몇 시간까지 되돌아봐야 하는지는 에이전트의 재전송 지평이 정한다. 현재는 32~44시간 전 버킷까지 올라온다. 쟁점은 재전송 주기(15분)가 아니라 기간이다. 지평을 예컨대 3시간으로 묶으면 서버는 그 안에서 끝나고 회수율이 확정되지만, 지금처럼 열려 있으면 서버가 어느 시점을 잡든 그보다 늦게 오는 데이터는 남는다. 서버 쪽 마무리 시점은 에이전트 재전송 지평에 맞춰 조정하는 것이 최종 정합이다.
Orange Platform 프로세스 텔레메트리 시간별 집계 파이프라인 트러블슈팅 리포트입니다.