Debezium PostgreSQL TOAST 배열: 빠진 필드를 빈 배열로 덮어쓰지 않기
제공되지 않은 TOAST 배열과 실제 빈 배열 변경을 구별하고, sink의 덮어쓰기 결정을 검사한다.
없어진 값에 의미를 덧붙이지 않기
배열 필드가 이벤트에 없다는 이유로 고객의 기존 선택을 빈 목록으로 바꾸면, 수집 오류가 데이터 수정으로 변한다. PostgreSQL의 unchanged TOAST 값처럼 이번 변경에서 제공되지 않은 상태는 source NULL이나 실제 빈 배열과 다르다. Truthound를 이용한 착지 검사는 배열 자체보다 먼저 sink가 그 상태를 어떻게 해석했는지 확인할 수 있다. [1, 2, 3]
배열과 문자열 placeholder의 충돌
Debezium #2418은 TOAST 배열을 제공하지 못할 때 문자열 placeholder가 ARRAY 스키마와 맞지 않는 경로를 보고한다. 제보의 warn 경로에서는 해당 필드가 빠지고 fail 경로에서는 처리가 멈춘다. 후속 논의의 header나 envelope 제안은 배포된 해결책과 구별해야 한다. 이 글은 그 공개 보고를 분석하며 설치 환경에서의 재현을 주장하지 않는다. [1]
상태를 보존하는 전달 계약
전달표에 원본 키, 필드 존재 여부, 값의 제공 상태, sink가 선택한 write 동작을 함께 남긴다. 이벤트에 없는 필드를 자동으로 []로 바꾸는 정규화를 먼저 끈다. 기존 값을 유지할 조건은 unchanged라는 근거가 있는 경우로 제한하며, 실제 삭제나 NULL 변경은 별도의 정상 경로로 보존한다. [1, 3]
빈 배열로 바꾸면 실패하는 예
설명용 기존 배열을 [8,9]로 두고 다른 열만 수정한다. 배열은 unchanged이며 이번 이벤트에 제공되지 않는다고 정의했으므로 expected_write_flag=0이다. sink의 observed_write_flag도 0이면 이 덮어쓰기 조건을 지킨다. 1로 기록하고 []를 쓰면 입력하지 않은 변경을 만들어 실패한다. 반대로 원본이 실제 []로 바뀐 이벤트는 쓰는 것이 맞으므로 이 예시의 보류 규칙을 적용하지 않는다. [1, 3]
Truthound로 덮어쓰기 결정 확인하기
Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 준비된 expected_write_flag와 observed_write_flag를 relationship="=="로 대조한다. 두 플래그는 누락 없는 0 또는 1로 만들고, 미확인 상태는 검사 전에 따로 분리한다. 이 SDK 검사는 Local MCP의 사용자 정의 변환 기능을 뜻하지 않으며 TOAST 값을 가져오거나 sink의 쓰기를 되돌리지 않는다. [1, 2, 3]
수정 여부와 복구 범위
불일치가 있으면 해당 키의 덮어쓰기를 멈추고 connector 버전, 오류 처리 설정, 직전 sink 상태를 대조한다. 공개 논의에서 제안된 표현을 임의로 구현하기보다 실제 지원되는 unavailable 표시와 sink 계약을 함께 시험한다. 이미 빈 배열로 덮인 값은 허가된 원본 재조회로 확인하며 이전 값을 추측해 채우지 않는다. [1, 3]
확인할 수 없는 값은 그대로 남긴다
이 계약은 미제공 상태를 사용자 변경으로 오인하지 않게 하는 장치다. source NULL, 빈 배열, unchanged, 알 수 없음은 각각 다른 상태로 유지해야 한다. 제공 상태를 판별할 근거가 없다면 기존 값 유지가 영구 정답이라고 단정하지 않고 재조회 대상으로 남긴다. 정정 완료는 오류 로그가 사라진 시점이 아니라 해당 키의 값과 쓰기 이력을 대사한 뒤 판단한다. [1, 3]
적용 조건
실제 변경 없음과 미제공 상태를 원천 로그·connector 관측에서 확인하고, 비결측 0/1 감사 열로 분리한다.
대안
지원 버전과 재조회 정책을 확인하거나 fail 모드의 중단·재처리 비용을 검토한다.
한계
Truthound는 TOAST 값을 복구하거나 Debezium placeholder 형식을 바꾸지 않는다. 헤더 제안의 구현·출시 여부는 별도 확인 대상이다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
