Iceberg 이름 재사용 뒤 writer도 새 table 정체성을 써야 한다
동명 table을 다시 만들었다면 UUID와 data·manifest의 실제 쓰기 target을 함께 확인한다. 이름과 schema ID가 같아도 이전 factory의 location을 새 table의 것으로 승인하지 않는다.
같은 이름과 schema ID는 연속성이 아니다
다시 만든 table은 이름과 schema ID가 같아도 새 정체성이다. 운영자가 실제 writer 위치와 현재 table 위치를 준비하면 Truthound Core로 다음 checkpoint 승인 전에 대조할 수 있다. [1, 2, 3]
옛 Table factory를 재사용한 보고
Iceberg #18623은 1.12.0 DynamicIcebergSink의 이름 기반 factory cache가 drop/recreate 뒤 옛 location을 유지한다고 보고한다. data·manifest가 옛 S3 Tables access point로 향해 다음 checkpoint에서 403이 난 재현이다. [1]
UUID와 두 쓰기 대상을 연결한다
전후 UUID, 현재 location, 실제 data·manifest target과 checkpoint를 연결한다. 새 table도 schema ID 0에서 시작해 cache에 맞을 수 있다. 이름 일치 대신 정체성을 기록한다. [1, 3]
새 location의 독립 기준
설명용 db.t를 새 UUID의 new-location으로 만든다. writer target=new-location은 통과한다. old-location은 접근 가능해도 다른 table을 써 실패다. db.t·schema ID 0 재사용은 기준을 바꾸지 않는다. [1, 3]
SDK가 cache를 비우지는 않는다
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 비결측 location token을 ==로 비교한다. ID 해석과 factory target 수집은 운영자가 한다. SDK는 cache 무효화나 job restart를 수행하지 않는다. [1, 2, 3]
재생성과 restart를 별도 시험한다
지원 table identity·cache invalidation을 검증하고 두 경계를 분리한다. restart로 cache가 비는 원문 대조는 모든 재사용 경로가 안전하다는 증거가 아니다. [1, 3]
processor 갱신만으로 충분하지 않다
data·manifest target을 함께 남긴다. record processor의 metadata view가 새로워져도 이전 factory가 새 table을 쓰는지는 별도로 확인해야 한다. [1, 3]
적용 조건
전후 UUID·current location·data/manifest factory target을 준비한다.
대안
지원 cache invalidation을 restart·recreate 각각 시험한다.
한계
같은 이름·schema ID 0은 재생성 table의 동일성 증거가 아니다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
