공유 Puffin 파일은 마지막 활성 deletion vector까지 보존한다
공유 Puffin의 일부 deletion vector를 교체해도 다른 활성 참조가 남으면 컨테이너를 보관한다. 정리 후보와 전체 참조 graph를 대사한 뒤 offset과 내용은 별도로 확인한다.
컨테이너 수명은 모든 참조에 달린다
삭제 단위가 컨테이너 파일이면 내부의 모든 활성 DV 참조를 확인해야 한다. 운영자가 참조와 물리 inventory를 준비하면 Truthound Core로 정리 전 존재 조건을 검사할 수 있다. [1, 2, 3]
DV 하나만 교체한 뒤의 실패
Trino #31474는 Iceberg v3의 Puffin 한 파일에 DV 둘이 있을 때 하나만 교체하고 expire_snapshots를 수행하면 다른 DV가 쓰는 파일까지 사라져 query가 실패하는 재현을 보고한다. [1]
현재 graph를 삭제 후보와 맞춘다
data file별 현재 DV, Puffin path와 offset을 모은다. 하나를 바꾼 뒤의 전체 active graph를 cleanup 후보와 비교한다. 구성원 하나의 교체로 모든 구성원이 불필요해졌다고 판단하지 않는다. [1, 3]
A가 이동해도 B는 P를 참조한다
설명용 Puffin P에 DV-A·DV-B가 있다. A만 새 파일로 이동하면 B의 P 참조는 계속 해결되어야 한다. resolution=true는 통과한다. P를 지워 false가 되면 활성 삭제 정보를 제거해 실패다. 파일 개수만으로 어느 참조가 끊겼는지는 알 수 없다. [1, 3]
존재와 offset 내용은 다른 조건이다
Truthound Core Python SDK 3.3.2의 ReferentialIntegrityValidator는 준비한 참조 열을 reference_data inventory와 비교한다. 존재를 확인하며 offset·DV 내용은 별도다. SDK가 expire_snapshots를 실행하거나 삭제된 vector를 복원하지 않는다. [1, 2, 3]
공유와 비공유 retention을 나눠 시험한다
공유 파일과 비공유 파일의 정리 시험을 나누고 남은 모든 참조를 확인한 뒤 승인한다. A가 이동하기 전 graph보다 변경 후의 실제 active graph를 보존한다. [1, 3]
참조 통과 뒤에는 실제 읽기가 필요하다
P 존재는 B의 필요조건이지 올바른 offset의 증거가 아니다. 이어서 소비자의 읽기로 삭제 정보가 실제 의도한 효과를 내는지 확인한다. [1, 3]
적용 조건
변경 후 활성 data file·DV offset·Puffin 참조 graph를 추출한다.
대안
공유·비공유 retention 시험 뒤 실제 consumer read를 확인한다.
한계
Puffin 존재는 DV offset·내용의 정확성까지 입증하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
