Styxis
Company
Knowledge

Iceberg partition spec 변경 후 upsert: 이전 키의 갱신과 삭제를 검사하기

새 파티션에 쓰기가 성공해도 이전 spec에서 기록한 행이 남아 있을 수 있다.

파일 배치 이상의 변경

파티션 변경은 파일 배치 변경뿐 아니라 기존 키의 갱신 경계까지 검증해야 한다. Truthound의 유일성 검사에 새로 쓴 파일만 전달하면 과거 파일에 남은 같은 키를 볼 수 없다. 검사 범위는 승인하려는 현재 상태 전체여야 한다. [1, 2, 3]

오래된 행에 적용되지 않는 변경

Iceberg 공개 보고는 Flink upsert·CDC에서 partition spec 변경 이전 행이 이후 update나 delete로 제거되지 않는 사례를 설명한다. 새 버전과 옛 버전이 함께 남거나 삭제 대상이 계속 보일 수 있다. compaction이 실행됐다는 사실만으로 이 상태가 교정된다고 가정하지 않는다. [1]

기존 키를 대조군에 넣기

변경 전 키를 골라 spec 변경 후 update와 delete를 각각 수행한 대조 결과를 만들고, 키 중복과 삭제 후 잔존을 따로 검사한다. 새로 삽입한 키만 시험하면 spec 경계를 가로지르는 문제를 놓친다. 원래 키와 버전, 변경 전후 spec, 의도한 최종 연산을 기록한다. [1, 3]

update 정상과 delete 정상은 다르다

설명용 update 완료 상태에서는 키당 살아 있는 버전 1개가 정상이며 2개는 실패다. 그러나 delete 완료 상태에는 그 키가 없어야 하므로 유일성 검사만으로는 충분하지 않다. 옛 버전 하나만 남은 삭제 실패도 유일하게 보일 수 있다. [1, 3]

Truthound를 현재 상태에 적용하기

Truthound Core의 UniqueValidator로 현재 상태의 업무 키 중복을 검사하고, 별도로 삭제 대상 키의 잔존을 확인한다. 기대 최종 연산은 CDC 기록에서 확보해야 한다. Truthound가 equality delete 적용 범위를 고치는 것은 아니다. 복구 작업을 선택할 때도 기존 spec의 키를 포함한 동일 대조군으로 결과를 다시 검증한다. [1, 2, 3]

적용 조건

spec_transition·business_key·row_version·deletion_expectation을 원래 CDC 기록과 현재 전체 상태에 연결한다.

대안

partition spec 변경 전후 키에 대해 별도 정합성 복구 작업을 검증한다.

한계

  • 키 중복이 없어도 삭제 누락은 남을 수 있으므로 tombstone 대상 집합 확인을 병행해야 한다. Truthound가 equality delete 적용 범위를 고치지 않는다.

근거

사건 확인일
대상 확인일
수정일