PostgreSQL decoderbufs 재개: BEGIN을 행 skip으로 세면 생기는 중복
LSN에 함께 있는 제어 메시지와 행을 따로 세야 한다. 재방출은 새 원본 거래가 아니므로 전달 시도와 업무 반영을 분리한다.
다시 온 행의 의미
LSN에 함께 있는 제어 메시지와 행을 따로 세야 한다. 재방출은 새 원본 거래가 아니므로 전달 시도와 업무 반영을 분리한다. 같은 record가 다시 보이는 장면을 Truthound 원장에 재전달과 추가 업무 효과로 나눠 담으면 잘못된 매출·변경 건수 합산을 피할 수 있다. [1, 2, 3]
skip을 쓰는 제어 메시지
Debezium #2894는 decoderbufs BEGIN이 행용 lsn_events_processed skip을 소모해 처리한 행을 재방출할 수 있다는 코드 분석이다. 손실과 중복 및 count=1의 이전 동작을 구별하고 end-to-end 재현은 하지 않았다. 같은 LSN의 BEGIN이 이미 처리한 행용 skip을 하나 소모한다는 설명이다. count=1에서 이전 손실과 변경 후 중복을 같은 결과로 합치지 않는다. [1]
전달과 효과를 나눈 원장
BEGIN과 세 행을 순서대로 보여 주는 재개 원장을 만들고, 이미 처리한 행의 추가 업무 반영이 있으면 해당 구간의 완료를 보류한다. decoderbufs 설정과 offset count를 고정하고 제어 메시지 순서를 남긴다. sink가 거절한 재전달은 확정 효과 표에 넣지 않는다. [1, 3]
A·B 뒤에 필요한 C
설명용 같은 LSN의 A,B,C 중 A,B를 이미 처리했다고 정한다. 재개 후 새 효과는 C만 허용하므로 추가 중복 효과 기대값은 0이다. B를 다시 반영해 1이면 실패다. B 재전달을 sink가 거절해 추가 효과가 0이면 이 조건은 통과한다. 원본 세 행의 완전성은 별도 대사한다. [1, 3]
확정 효과만 대조하기
Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 duplicate_business_effects와 allowed_extra_effects를 relationship="=="로 대조한다. 제어 메시지와 실제 확정 효과의 분류는 운영자가 제공하며 미확인 효과는 0으로 추정하지 않는다. SDK는 skip 알고리즘이나 WAL을 수정하지 않는다. [1, 2, 3]
중복 처리의 마지막 경계
지원 수정본의 제어 메시지 처리를 시험하고 안정적 원본 키 기반의 멱등 소비를 함께 검토한다. 전달 중복이 있어도 추가 효과가 없을 수 있다. 반대로 메시지 수가 정상이어도 업무 효과가 반복됐으면 복구 완료를 알리지 않는다. [1, 3]
적용 조건
decoderbufs와 offset count를 기록하고 제어 메시지·전달 시도·확정 업무 효과를 구분한다.
대안
지원 수정본의 제어 메시지 skip 처리를 시험하고 sink의 안정적 원본 키 멱등성을 별도로 구성한다.
한계
Truthound는 skip 알고리즘이나 PostgreSQL WAL을 고치지 않는다. #2894는 코드 분석이며 전체 connector 시험 결과가 아니다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
