TCP 연결이 3초 넘게 걸렸다는 탐지, 그 값을 믿어도 되나 — 처리 시각 대신 커널 시각, 그리고 SYN 재전송

연결은 성공했지만 3초 이상 걸린 TCP SLOW_SUCCESS 탐지의 유일한 근거는 LatencyMs다. 이 값을 처리 시각으로 재던 옛 방식은 53건 중 사실상 전부 틀렸다. 커널 시각으로 바꾸고, TCB 재사용이 만든 허구값을 상한으로 막고, 현장 값 대부분이 Windows SYN 재전송과 겹친다는 것을 7일 데이터로 확인한 과정을 정리한다.

개요

TCP SLOW_SUCCESS 탐지(연결은 성공했지만 3초 이상 걸림)의 유일한 판정 근거는 LatencyMs다. 이 값이 믿을 만한지 분석하고, 틀리는 경로를 막았다.

판정 경로는 네 단계다.

단계위치내용
룰 조건Rule/0008/TCP.json{ev.Status} == "STATUS_SUCCESS" AND {ev.Anomaly} == true
장부 등록CETW.TCP.cpp case 1002ETW 1002(TcpRequestConnect, 연결 요청) 수신 시 tcb를 키로 시작 시각 저장
지연 계산같은 파일 case 1033ETW 1033(TcpConnectTcbComplete, 연결 성공) 수신 시 장부의 시작 시각과의 차
이상 판정같은 파일latencyMs >= 3000.0이면 Anomaly = true
  • ETW(Event Tracing for Windows): 커널 TCP 스택이 내는 이벤트를 에이전트가 받아 보는 Windows 기능
  • TCB(TCP Control Block): 커널이 TCP 연결마다 갖는 제어 구조체. 에이전트는 이 주소를 장부의 키로 쓴다
  • 장부: 1002를 받으면 항목을 넣고 1033/1034/1045를 받으면 꺼내 쓰는 g_tcpConnections 맵

결론 요약

질문답
옛 LatencyMs(처리 시각 기준)를 믿을 수 있었나아니오. 같은 연결을 두 방식으로 동시에 잰 53건 중 사실상 전부 틀림(과소 44, 과대 9)
커널 시각 기준 LatencyMs를 믿을 수 있나예. 원리 검산, 로컬 무오탐, 매니저 현장값의 물리적 정합 세 가지가 독립적으로 확인됨
그래도 틀리는 경로가 있나있었다. 종료 이벤트를 못 받은 장부 항목(고아)이 TCB 주소를 재사용한 새 연결과 짝이 맞으면 허구값이 나온다. 매니저 139건 중 2건(149초, 52초). 이번 수정으로 차단
매니저에 SLOW_SUCCESS가 많이 오는 이유측정 오류가 아니다. 실제로 SYN이 유실돼 재전송으로 성공한 연결이다. 3초 임계값이 Windows SYN 재전송 시점과 겹쳐 패킷 한두 개 유실에도 걸린다

처리 시각 대신 커널 시각으로

옛 방식은 에이전트가 이벤트를 처리한 시각(GetCurrentTick)으로 두 이벤트의 차를 쟀다. 바꾼 방식은 이벤트에 실린 커널 시각(EventHeader.TimeStamp)으로 잰다.

세션을 Wnode.ClientContext = 1(QPC 시계) + PROCESS_TRACE_MODE_RAW_TIMESTAMP로 열고 있어 EventHeader.TimeStamp가 QueryPerformanceCounter와 같은 시계, 같은 단위다. 변환 없이 바로 쓴다. 커널 시각은 단조 증가가 보장되지 않으므로 0 이하가 나오면 장부 항목을 버린다.

원리 검산

같은 연결을 옛 방식(처리 시각)과 새 방식(커널 시각)으로 동시에 재는 임시 계측을 테스트 PC에 넣어 확인했다. 커널이 이벤트를 찍은 시각을 K, 에이전트가 처리한 시각을 U, 배달 지연을 D = U − K라 하면

진짜 연결 시간  T = K(1033) - K(1002)
옛 방식 측정값  M = U(1033) - U(1002) = T + (D1033 - D1002)
확인결과
M − T가 D1033 − D1002와 같은가3건 모두 소수점 둘째 자리까지 일치. 오차 구조가 실측으로 확인됨
전제(EventHeader.TimeStamp가 QPC 원시값)배달 지연이 1,018~2,650 ms의 정상 범위 양수. 전제 성립
옛 방식 오차 방향(53건)과소 44, 과대 9. 오차 범위 −316 ~ +979 ms
배달 지연 이상 구간151초, 122초, 31초가 연달아 관측. 그 순간에도 새 방식은 225 / 189 / 185 ms의 정상값

옛 방식의 주된 실패는 과소평가(미탐)였다. 소비자가 밀렸다가 따라잡을 때 두 이벤트가 붙어 처리되면 실제 131 ms 연결이 0.05 ms로 찍힌다. 같은 원리로 실제 3초 넘는 연결도 0 ms로 찍혀 탐지를 놓칠 수 있었다.

장부 짝 검증과 고아 정리

커널 시각으로 바꾼 뒤에도 남은 오염 경로를 막았다.

파일변경
CETW.Network.hTCP_CONNECTION_TIMEOUT_SEC 120 → 60(장부 수명). TCP_CONNECT_MAX_MS = 31000.0 신설(연결 시도가 결론에 이르는 최대 시간)
CETW.TCP.cpp 청소 함수항목 나이를 처리 시각이 아니라 지금 처리 중인 이벤트의 커널 시각으로 잰다
같은 파일 case 1002장부가 가득 차면 2단계: ① 31초 넘은 고아를 모두 걷어낸다 ② 그래도 가득 차면 새 연결을 기록하지 않는다. 이미 장부에 있는 tcb는 덮어쓰기라 포기하지 않는다
같은 파일 case 1033/1034/1045짝 검증. 성공(1033)은 31초, 실패(1034)·타임아웃(1045)은 60초를 넘으면 오염으로 보고 지운다

설계 근거는 다음과 같다.

  • 오염값은 고아가 먼저 시작했으므로 언제나 크게 나온다. 기존 0 이하 검사는 반대 방향만 잡아 그대로 통과했다.
  • Windows는 SYN을 1·3·7·15초 지점에 다시 보내고 31초에 포기한다. 31초를 넘겨 성공하는 연결은 없다.
  • 실패·타임아웃은 바로 그 31초 포기 시점에 오므로 같은 상한을 쓰면 정상 타임아웃까지 버린다. 그래서 장부 수명(60초)을 상한으로 쓴다.
  • 장부 수명 120초는 연결 단계 최대 시간의 네 배였다. 고아가 오래 살수록 재사용 충돌 기회가 는다.
  • 처리 시각으로 나이를 재면 소비자가 밀렸을 때(실측 최대 151초) 살아 있는 항목이 늙어 보여 잘못 지워진다.

원격 주소 대조와 로컬 포트 대조는 넣지 않았다. 1002와 1033의 주소 표기가 같은 연결에서 늘 같은지, 1002에 로컬 포트가 실리는지 확인하지 못했다. 틀리면 정상 탐지를 흔적 없이 버린다. 실제로 발견된 오염 두 건은 같은 앱이 같은 서버에 재접속한 경우라 주소 대조로는 원래 못 잡고 상한으로 걸러진다.

현장 값은 대부분 진짜 느린 연결이었다

매니저 MongoDB의 public.timeline에서 RuleId = SLOW_SUCCESS를 7일(09-21 ~ 09-28) 조회했다. 문서 29건, 발생 37회, PC 12대.

값이 TCP 재전송 시점에 붙어 있다. SYN(연결 요청 패킷)에 응답이 없으면 Windows는 1·3·7·15초 지점에 다시 보낸다. 앞 SYN이 유실되고 재전송이 성공하면 연결 시간은 "재전송 시점 + 왕복시간(RTT)"이 된다. 37회 중 27회가 3·7·9·15초 + 400 ms 이내였다.

경계실제 값 (ms)남는 부분 = RTT
3초3015.7, 3020.1, 3020.5, 3026.0, 3026.5, 3026.7, 3026.8, 3027.1, 3033.415~33 ms
7초7169.8, 7180.7, 7236.8, 7258.0170~258 ms
15초15032.6, 15101.1, 15209.233~209 ms

남는 RTT가 목적지 거리와 맞는다(국내 20 ms대, 미국 170~260 ms). 옛 방식 오차가 섞였다면 이렇게 좁게 뭉칠 수 없다. 측정은 정확하고, 걸린 것은 진짜로 느렸던 연결이다.

같은 목적지의 추정 정상값(RTT)이 PC마다 다르다. 한 PC는 그 순간 망 자체가 막혀 있었고, 같은 22초 안에 프로세스 3개가 9회 느렸다. 7일간 이런 버스트는 이것 하나다.

PC매니저 서버 RTT
PC A20 ms
PC B26 ms
PC C140 ms
PC D209 ms
PC E384 ms

장부 오염 검사 (매니저 SLOW_SUCCESS 전체 139건)

오염되면 AdoptConnectionDomain()이 도메인·IP를 장부(옛 연결) 값으로 덮어쓰고, RemoteAddress는 이벤트(새 연결)에서 직접 뽑으므로 Message의 "도메인 (주소)" 두 부분이 서로 다른 호스트를 가리키게 된다.

판정건수방법
일치(IP)49장부 IP와 이벤트 IP 문자 대조 — 전부 일치
일치(DNS)71도메인을 지금 DNS로 풀어 이벤트 IP 포함 여부
불일치(DNS)19아래 RDAP 조회

불일치 19건은 RDAP(공개 IP 등록 정보)로 탐지 주소와 현재 DNS 주소의 운영 주체를 대조했다. 17건은 같은 운영 주체(Amazon 9, KIDC(안랩) 4, Blizzard 3, Akamai(HP) 1)로 부하분산으로 설명됐고, 2건은 판정 불가(ocsp.digicert.com, supdated.nprotect.net)였다.

다른 서버와 엇갈린 오염은 0건이다. 대신 정상 TCP로 나올 수 없는 허구값 2건이 있었다.

시각 (KST)프로세스값빌드
09-15 15:30orange.exe148,922 ms옛 빌드
09-27 23:02npUpdateC.exe52,497 ms1.6.242.691 (커널 시각 포함)

둘 다 같은 앱이 같은 서버에 재접속한 경우라 주소 대조를 통과했다. 149초는 옛 장부 수명(120초) + 청소 주기(30초) 구간과 맞는다. 장부 짝 검증의 상한이 둘 다 걸러낸다.

상한값(31초, 60초)의 근거

대상 PC의 명령 프롬프트나 PowerShell에서 설정을 읽을 수 있다(관리자 권한 불필요).

netsh int tcp show global
Get-NetTCPSetting | Select-Object SettingName, MaxSynRetransmissions

테스트 PC 실측: Initial RTO 1000 ms, Max SYN Retransmissions 4(모든 템플릿 동일). Windows는 응답 없는 SYN을 Initial RTO에서 시작해 대기 시간을 두 배씩 늘리며 다시 보내고, Max SYN Retransmissions번 다시 보낸 뒤 한 번 더 기다리고 포기한다.

SYN보내는 시점다음까지 대기
최초0초1초
재전송 11초2초
재전송 23초4초
재전송 37초8초
재전송 415초16초 → 31초에 포기

매니저 7일치 37회 중 27회가 3·7·15초에 왕복시간(15~258 ms)만 더한 값이라 이 일정과 정확히 겹친다. SLOW_SUCCESS 139건 중 실제 성공은 최대 15.2초였고, 31초를 넘은 것은 149초와 52초 두 건뿐이며 둘 다 오염값이다. 31초 이후에는 연결이 이미 포기됐으므로 성공이 올 수 없다. 그래서 1033의 상한이 31초다.

60초는 두 가지로 쓴다. 실패(1034)·타임아웃(1045)은 31초 무렵에 오므로 31초를 상한으로 쓰면 정상 타임아웃을 버린다. 장부 항목은 연결 단계(최대 31초)에만 머물러 31초를 넘기면 고아이고, 청소가 30초 주기로 돌아 고아는 실제로 "수명 + 30초"까지 산다. 120초일 때 최대 150초였고 149초 오염값이 그 구간이다. 60초면 최대 90초다. 60은 계산으로 나온 값이 아니라 31초의 약 두 배로 잡은 판단이다. 두 값 모두 커널 시각끼리의 차이라 에이전트가 이벤트를 늦게 받아도 값이 달라지지 않는다.

재전송 횟수를 늘린 PC(Max SYN Retransmissions 5)에서는 63초 타임아웃이 60초 상한에 걸려 누락될 수 있다. 틀린 값은 아니다. debug.log의 TCP ledger pair rejected 거부 로그가 31초·63초 근처로 몰려 나오는 PC가 보이면, 그 PC에서 위 방법으로 설정을 보고 상한을 다시 정한다.

발생량 자체는 거의 줄지 않는다

짝 검증은 허구값을 막을 뿐 발생량은 거의 줄이지 않는다. 대부분 실제로 느렸던 연결이기 때문이다. 매니저 timeline의 SLOW_SUCCESS 전체(31일, 문서 139건, 발생 179회, PC 13대)에 조건별로 알림 건수를 셌다.

안31일간 알림성격
현재 — 느린 연결마다139건하루 4~5건. 대부분 사용자가 못 느끼는 SYN 한두 개 유실
단발 + vmnat·dasHost 제외123건둘 다 PC 자체 망 상태와 무관
단발 + 위 둘·백그라운드 제외67건제외 목록을 계속 관리해야 함
버스트 — 60초 안에 목적지 2곳·프로그램 2개 이상13건PC 망이 순간 막힌 사건만
버스트 — 목적지 3곳·프로그램 2개 이상7건더 확실한 것만

프로세스 분류(발생 횟수): 백그라운드·텔레메트리·업데이터 71회(40%), 사용자 앱 59회(33%), 에이전트 자신 → 매니저 서버 31회(17%), vmnat / dasHost 18회(10%).

분류는 프로세스 이름으로 나눈 판단이라 정답은 아니다. 매니저에는 3초를 넘긴 연결만 올라오므로 3초 미만으로 느렸던 연결은 보이지 않고, 실제 버스트는 이보다 조금 많을 수 있다. 버스트는 이벤트 하나씩 판정하는 룰 엔진으로 표현할 수 없어, PC별로 최근 느린 연결을 모아 두는 에이전트 코드가 있어야 한다. 단발 알림을 끄는 것은 룰의 alert 값만 바꾸면 된다.


Orange Platform 에이전트의 TCP SLOW_SUCCESS 탐지 정확도 분석 리포트입니다.