Truthound · 스트림과 변경 데이터 · 1/2
재시도·순서·체크포인트가 결과 집합에 미치는 영향을 살핍니다.
29 편
Winlog rollover 복구: live 수신과 EVTX backlog를 따로 확인하기
live 채널 재구독과 archive backlog 복구를 따로 확인해야 한다. 새 이벤트가 들어온다는 사실만으로 이전 파일의 미수집 record id가 착지했다고 볼 수 없다.
Debezium PostgreSQL TOAST 배열: 빠진 필드를 빈 배열로 덮어쓰지 않기
제공되지 않은 TOAST 배열과 실제 빈 배열 변경을 구별하고, sink의 덮어쓰기 결정을 검사한다.
SQL Server when_needed: NULL LSN을 복구 지점으로 승인하지 않기
offset 레코드가 있다는 사실과 재개 가능한 commit LSN이 있다는 사실은 다르다. CDC가 재생성된 상황의 NULL LSN을 유효한 복구 지점으로 승인하면 안 된다.
Spanner change stream: RPC 종료와 restriction 완료를 다른 경계로 보기
한 RPC의 인위적 종료와 전체 restriction 완료를 구별해야 한다. tracker 진척은 실제로 읽은 경계에 맞춰 설명한다.
PostgreSQL publication 열이 어긋났다면: 재시작 전 구간까지 대사하기
재시작이 증상을 없애도 snapshot 시작부터 재시작 전까지의 값 배치가 옳았다는 증거는 아니다. Relation의 공개 열 순서와 refresh 후 해석 순서를 비교해야 한다.
Logstash HTTP pipelining: 메서드 잠금과 record 재조립 순서 구별하기
개별 메서드 보호와 요청 전체의 순서 보존은 다르다. connection 안에서 나뉜 record가 원래 요청 순서대로 결합되는지 확인해야 한다.
Logstash DLQ 파일 없음 오류: 지우기 전에 다음 writer를 확인하기
같은 예외도 writer 수명에서 발생한 위치에 따라 영향이 다르다. 이미 보존한 이벤트를 지우기 전에 다음 writer가 열렸는지 확인한다.
Debezium IBM i 초기 적재: CDC가 읽는 모든 member를 snapshot도 읽었을까?
member별 원본과 snapshot을 따로 대사해야 최초 적재 범위가 드러난다. 행 수 일치 뒤에도 키 집합과 중복을 확인한다.
IBM i blocking snapshot: 요청 로그 다음의 pause handshake 확인하기
요청 접수와 streaming pause 승인 및 snapshot 실행은 별개 상태다. 요청 로그만으로 실행이나 완료를 표시하지 않는다.
Flink checkpoint 이후의 B@20: 아직 남은 buffer보다 watermark가 앞설 때
완료된 checkpoint의 버퍼와 그 뒤에 받은 현재 버퍼는 다르다. 아직 방출되지 않은 이벤트를 watermark가 앞질렀는지 확인해야 한다.
Filebeat cursor cache: receiver 시작 순서가 state index를 바꾸는가
입력 ID와 실제 cached store 소유권을 따로 확인해야 한다. 재시작 순서가 달라도 각 입력은 자신의 state index를 읽어야 한다.
ETW EventsLost=0인데 기록이 적다면: 독립 키 대사로 수집 범위 확인하기
손실 counter 0과 수집 완전성은 다르다. 같은 범위의 독립 이벤트 근거와 수신 결과를 대조해야 한다.
PostgreSQL decoderbufs 재개: BEGIN을 행 skip으로 세면 생기는 중복
LSN에 함께 있는 제어 메시지와 행을 따로 세야 한다. 재방출은 새 원본 거래가 아니므로 전달 시도와 업무 반영을 분리한다.
Bigtable RESUME_OR_NEW: 한 job 안의 partition consumer 수 확인하기
job 개수와 partition consumer 소유권은 다르다. 같은 실행의 초기화가 반복돼도 기존 consumer chain을 다시 만들지 않는지 확인해야 한다.
Beam YAML의 1d: 화면의 하루와 실제 86,400초 창 맞추기
설정 문자열을 읽어 주는 것과 실행 창의 길이를 확인하는 것은 다르다. 고정 24시간 계약이라면 실제 시작·끝 차이를 86,400초와 대조해야 한다.
Beam OrderedListState: 같은 timestamp의 A와 B를 둘 다 남기기
시각은 정렬 키이며 이벤트 식별자가 아니다. 서로 다른 이벤트가 같은 시각에 도착하는 것이 허용된다면 둘 다 상태에서 읽혀야 한다.
Beam Parquet window 혼합: 파일이 읽혀도 소속을 다시 확인하기
파일이 읽힌다는 사실과 event가 원래 window에 남는다는 사실은 다르다. 마지막으로 본 window가 앞선 window의 행까지 소유하지 않는지 확인해야 한다.
Iceberg maintenance는 최초 성공 뒤 다음 주기도 진행해야 한다
공유 lock을 쓰는 maintenance 조합은 첫 완료 뒤의 반복 진행까지 확인한다. 실제 schedule에 맞춘 관측 창에서 task별 완료를 세어 아직 예정되지 않은 작업과 정체를 구분한다.
Hudi 삭제 이벤트의 중첩 ordering 값도 원래 순서를 지켜야 한다
늦게 도착한 delete가 최신 update를 지우는지 같은 키로 재생해 본다. 중첩 ordering 경로와 table version을 기록하고 사건 시각 정책에 맞는 생존 버전을 확인한다.
Doris net-zero rewrite 뒤에도 offset snapshot의 key는 남아야 한다
동일값 재쓰기라도 과거 offset의 snapshot에는 이전 행이 필요할 수 있다. offset에 고정한 key 집합으로 net-delta 제거의 영향을 검사하되 미실행 시나리오라는 보고 범위를 유지한다.
