Iceberg DynamicSink의 키 변경은 checkpoint 경계에서 검증하자
필드 이름이 비슷해도 타입·순서·optionality가 달라지면 writer가 같은 키 계약을 공유하지 못할 수 있다.
checkpoint 안에서 바뀌는 키 의미
하나의 checkpoint는 서로 호환되는 키 의미를 공유해야 하며 키 변경을 단순 열 변경으로 취급하면 안 된다. Truthound의 복합 키 검사도 어떤 key contract epoch에 속한 결과인지 알아야 해석할 수 있다. [1, 2, 3]
기존 수정 이후의 후속 분석
Iceberg DynamicIcebergSink의 공개 후속 분석은 제안된 기본 수정 이후에도 같은 checkpoint 안에서 키의 optionality·타입·필드 집합·순서가 바뀌면 tracker를 공유하지 못해 중복이 남는 경우를 설명한다. 이미 배포된 모든 버전의 해결을 의미하는 자료가 아니라, 수정 범위에 남은 경계를 조사한 보고다. [1]
키 변경을 완료 경계로 분리하기
키 계약의 epoch를 기록하고 변경은 완료된 checkpoint 경계로 분리한다. 변경 전후 같은 키를 쓰는 대조군에서 단일 live version을 확인한다. 서로 다른 필드 집합이 같은 업무 개체를 뜻하는지부터 승인해야 하며 열 이름만 이어 붙여 같다고 판단하지 않는다. [1, 3]
버전 개수의 합성 예
설명용 현재 상태가 업무 키당 살아 있는 버전 1개를 요구한다면 1개는 통과하고 2개는 실패한다. 이 결과만으로 어느 키 schema가 옳은지는 결정할 수 없다. 중복이 생긴 checkpoint와 key epoch를 함께 보존해야 변경 시점의 원인을 추적할 수 있다. [1, 3]
Truthound와 writer 재구성의 역할
Truthound Core의 MultiColumnUniqueValidator는 승인한 키 계약에 맞춘 현재 상태의 복합 키를 검사할 수 있다. 서로 다른 키 집합 사이의 업무 동치와 tracker 공유 여부는 외부 설계 판단이다. Truthound가 checkpoint를 멈추거나 writer를 재구성하지 않으므로 운영자는 완료 경계의 전환 절차와 재처리 범위를 별도로 정해야 한다. [1, 2, 3]
적용 조건
checkpoint_id·key_contract_epoch·key_fields·live_business_key를 같은 완료 경계에 연결하고 키의 업무 동치를 별도로 승인한다.
대안
키 계약 변경을 완료된 checkpoint 경계로 분리한다.
한계
서로 다른 키 집합 사이의 업무 동치와 tracker 공유 가능성은 외부 설계 판단이다. Truthound가 checkpoint를 정지하거나 writer를 재구성하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
