Truthound · 스트림과 변경 데이터 · 2/2
재시도·순서·체크포인트가 결과 집합에 미치는 영향을 살핍니다.
29 편
Doris DETAIL의 before image에는 과거 값의 근거가 필요하다
DETAIL changelog를 retract에 쓰기 전에 before 값이 독립된 과거 기록과 맞는지 대사한다. history 설정과 update 경로를 남기고 source 분석을 실제 실행 관측으로 바꾸지 않는다.
Doris binlog TTL 전환에는 새 clone replica도 포함한다
binlog 보관 창을 늘렸다면 전환 중 clone된 replica도 새 TTL을 받았는지 확인한다. 정책 세대와 현재 serving 집합을 함께 기록해야 완료 응답 밖에 남은 replica를 찾을 수 있다.
Shopify 재고 배송 webhook: 이동 ID를 보존하고 참조 범위를 확인하기
이동 ID가 제공되면 추정 조인을 줄일 수 있지만, 참조의 존재와 올바른 연결은 여전히 다른 검사다.
Pulsar 부분 batch ACK 이후 재전달: 메시지보다 업무 효과의 중복을 검사하자
ACK 완료 표시와 재시작 후 같은 업무가 한 번만 적용되는지는 별도 계약이다.
Iceberg DynamicSink의 키 변경은 checkpoint 경계에서 검증하자
필드 이름이 비슷해도 타입·순서·optionality가 달라지면 writer가 같은 키 계약을 공유하지 못할 수 있다.
Doris MySQL CDC snapshot: INVISIBLE 기본 키가 실제 추출에 포함되는가
원본 schema에 키가 있다는 사실과 SELECT 결과에 그 키가 있다는 사실은 다르다.
Airbyte Postgres Xmin bookmark: 늦게 commit한 행을 건너뛰지 않는 경계
가장 큰 발급 transaction 번호와 아직 보이지 않는 오래된 transaction의 경계를 구분해야 한다.
Airbyte MySQL 복합 키 snapshot: 첫 키 그룹의 누락을 검사하기
동시 partition의 첫 경계가 exclusive라면 작업 성공과 무관하게 최솟값 묶음이 빠질 수 있다.
Airbyte MySQL→ClickHouse 타입 오류: 정정된 CDC selectedFields 원인부터 확인하기
날짜 열 변환을 고치기 전에 CDC 시스템 필드와 전송 schema가 맞는지 확인해야 한다.
