Styxis
Company
Knowledge

공유 Puffin 파일은 마지막 활성 deletion vector까지 보존한다

공유 Puffin의 일부 deletion vector를 교체해도 다른 활성 참조가 남으면 컨테이너를 보관한다. 정리 후보와 전체 참조 graph를 대사한 뒤 offset과 내용은 별도로 확인한다.

컨테이너 수명은 모든 참조에 달린다

삭제 단위가 컨테이너 파일이면 내부의 모든 활성 DV 참조를 확인해야 한다. 운영자가 참조와 물리 inventory를 준비하면 Truthound Core로 정리 전 존재 조건을 검사할 수 있다. [1, 2, 3]

DV 하나만 교체한 뒤의 실패

Trino #31474는 Iceberg v3의 Puffin 한 파일에 DV 둘이 있을 때 하나만 교체하고 expire_snapshots를 수행하면 다른 DV가 쓰는 파일까지 사라져 query가 실패하는 재현을 보고한다. [1]

현재 graph를 삭제 후보와 맞춘다

data file별 현재 DV, Puffin path와 offset을 모은다. 하나를 바꾼 뒤의 전체 active graph를 cleanup 후보와 비교한다. 구성원 하나의 교체로 모든 구성원이 불필요해졌다고 판단하지 않는다. [1, 3]

A가 이동해도 B는 P를 참조한다

설명용 Puffin P에 DV-A·DV-B가 있다. A만 새 파일로 이동하면 B의 P 참조는 계속 해결되어야 한다. resolution=true는 통과한다. P를 지워 false가 되면 활성 삭제 정보를 제거해 실패다. 파일 개수만으로 어느 참조가 끊겼는지는 알 수 없다. [1, 3]

존재와 offset 내용은 다른 조건이다

Truthound Core Python SDK 3.3.2의 ReferentialIntegrityValidator는 준비한 참조 열을 reference_data inventory와 비교한다. 존재를 확인하며 offset·DV 내용은 별도다. SDK가 expire_snapshots를 실행하거나 삭제된 vector를 복원하지 않는다. [1, 2, 3]

공유와 비공유 retention을 나눠 시험한다

공유 파일과 비공유 파일의 정리 시험을 나누고 남은 모든 참조를 확인한 뒤 승인한다. A가 이동하기 전 graph보다 변경 후의 실제 active graph를 보존한다. [1, 3]

참조 통과 뒤에는 실제 읽기가 필요하다

P 존재는 B의 필요조건이지 올바른 offset의 증거가 아니다. 이어서 소비자의 읽기로 삭제 정보가 실제 의도한 효과를 내는지 확인한다. [1, 3]

적용 조건

변경 후 활성 data file·DV offset·Puffin 참조 graph를 추출한다.

대안

공유·비공유 retention 시험 뒤 실제 consumer read를 확인한다.

한계

  • Puffin 존재는 DV offset·내용의 정확성까지 입증하지 않는다.

근거

사건 확인일
대상 확인일
수정일