Truthound · 수집과 파일 해석 · 1/4
CSV·JSON·열 지향 파일을 읽는 경계에서 손실을 찾습니다.
77 편
Winlog rollover 복구: live 수신과 EVTX backlog를 따로 확인하기
live 채널 재구독과 archive backlog 복구를 따로 확인해야 한다. 새 이벤트가 들어온다는 사실만으로 이전 파일의 미수집 record id가 착지했다고 볼 수 없다.
AppLocker hash 뒤의 이웃 필드: hex 형식과 byte 경계를 따로 검사하기
hex 문자 모양과 필드 경계는 다르다. 승인된 hash 길이와 원본 bytes를 확인하기 전에는 이웃 필드가 섞인 값을 식별자로 사용하지 않는다.
SOC Hunt 시각 차이: 맞는 indexed UTC를 다시 보정하지 않기
원시 offset 문자열·indexed instant·표시 순간을 따로 대사해야 한다. 저장값이 맞는 보고에서는 표시 오류를 고치려고 원천 시각을 다시 이동시키지 않는다.
ProtoJSON quoted 숫자의 언어별 차이: raw token에서 교환 규칙 정하기
언어별 숫자 수용과 교환 입력 계약을 분리해야 한다. 수신 경계에서 승인한 ASCII 숫자 정책을 적용하고 원문은 별도로 보존한다.
ProtoJSON 객체 재사용: merge와 전체 교체를 다른 시연으로 보기
파서의 merge 계약과 화면의 전체 교체 의도를 먼저 구별해야 한다. 새 입력에 없는 필드가 이전 출력 객체에서 남는 경우에는 객체 수명과 초기화 경로를 확인해야 한다.
ProtoJSON 큰 정수의 e0 표기: 따옴표만으로 정확성을 약속하지 않기
quoted라는 사실만으로 모든 수 표기의 정확성을 보장하지 않는다. 정확 식별자는 허용 표기와 원문 정밀도를 함께 정해야 한다.
Osquery live query의 빈 화면: 정정된 space_id 전달 경로부터 확인하기
결과 부재와 space 정보의 전달 실패를 구별해야 한다. 초기 수정 설명보다 후속 정정을 따라 action에서 결과까지 실제 space가 보존되는지 확인한다.
MySQL 정수 default: 맞는 raw row가 잘못된 schema를 가릴 때
raw row와 schema default를 별도로 대사해야 한다. 기본값을 채우는 소비는 원천의 정수 변환 결과와 schema 값이 맞은 뒤 승인한다.
MySQL snapshot 시각 이동: DATETIME 성분과 JVM 달력 경로 분리하기
시간대 없는 DATETIME의 저장된 필드와 JVM 달력 변환을 분리해야 한다. snapshot과 streaming의 연월일시분초를 원본 성분에 맞춰 대조한다.
Logstash HTTP pipelining: 메서드 잠금과 record 재조립 순서 구별하기
개별 메서드 보호와 요청 전체의 순서 보존은 다르다. connection 안에서 나뉜 record가 원래 요청 순서대로 결합되는지 확인해야 한다.
Debezium IBM i 초기 적재: CDC가 읽는 모든 member를 snapshot도 읽었을까?
member별 원본과 snapshot을 따로 대사해야 최초 적재 범위가 드러난다. 행 수 일치 뒤에도 키 집합과 중복을 확인한다.
IBM i blocking snapshot: 요청 로그 다음의 pause handshake 확인하기
요청 접수와 streaming pause 승인 및 snapshot 실행은 별개 상태다. 요청 로그만으로 실행이나 완료를 표시하지 않는다.
httpjson pagination 오타: request finished를 전체 수집 완료로 읽지 않기
정상적인 마지막 페이지와 template 실행 실패를 구별해야 한다. 첫 페이지가 발행됐어도 오류 종료를 완전한 interval로 승인하지 않는다.
GCS CSV의 같은 두 행: payload 중복과 record 정체성 구별하기
객체의 정체성과 객체 안 레코드의 정체성을 분리해야 한다. 내용이 같은 두 행도 서로 다른 관측이라면 payload fingerprint만으로 하나로 합쳐서는 안 된다.
FieldMask JSON hop: 사용자가 고른 path를 다른 경로로 바꾸지 않기
마스크 문자열의 전송 성공보다 선택한 필드 경로의 보존을 확인해야 한다. 비정규 경로를 조용히 다른 경로로 정규화해 승인하지 않는다.
ETW EventsLost=0인데 기록이 적다면: 독립 키 대사로 수집 범위 확인하기
손실 counter 0과 수집 완전성은 다르다. 같은 범위의 독립 이벤트 근거와 수신 결과를 대조해야 한다.
Protobuf enum option {}: wrapper와 string presence를 따로 시험하기
option wrapper의 존재와 string 필드의 존재를 구별해야 한다. string을 생략한 {}는 승인된 fallback 이름을 유지해야 한다.
DynamicMessage map 중복 제보의 정정: repeated KV와 업무 map을 구별하기
wire의 repeated KV 표현과 map으로 관측한 마지막 값 선택을 구별해야 한다. 표현 차이를 곧바로 parser 결함으로 부르지 않는다.
BigQuery 거절 행의 TIMESTAMP: 실패 원장까지 읽을 수 있어야 복구한다
정상 쓰기와 거절 행 인계는 서로 다른 경로다. timestamp 문자열이 실제 failed-row consumer의 해석 계약까지 통과하는지 확인해야 한다.
Beam Reshuffle 뒤 tuple key가 list가 된다면: 값과 컨테이너를 따로 검사하기
tuple의 값 목록과 hashable 컨테이너 계약을 따로 검사해야 한다. schema 경계 뒤 list가 되면 dict key를 요구하는 단계에 그대로 넘기지 않는다.
