Iceberg expireSnapshots와 transaction: catalog commit 전 파일 삭제를 확인하는 방법
유지보수 호출 성공보다 아직 공개된 snapshot의 파일 참조가 살아 있는지 확인해야 한다.
공개된 참조를 기준으로 판단하기
유지보수 성공은 현재 표 조회뿐 아니라 아직 공개된 snapshot 참조의 파일 가용성까지 확인해야 한다. Truthound는 catalog 참조와 객체 inventory를 비교하는 데 연결할 수 있지만 객체를 복원하거나 삭제 순서를 제어하지는 않는다. [1, 2, 3]
transaction 안에서 먼저 실행된 삭제
Iceberg 공개 재현은 Java Transaction 내부 expireSnapshots가 최종 catalog commit 전에 만료 대상 파일을 삭제하는 경로를 설명한다. 최종 commit이 실패하거나 과정이 중단되면 catalog는 여전히 없어진 파일을 참조할 수 있다. 직접 expire action과 Transaction 내부 호출은 같은 실행 경로로 취급하지 않는다. [1]
계획·commit·실제 객체를 나누기
승인된 catalog snapshot의 파일 참조와 같은 시점의 실제 객체 inventory를 대조하고, 커밋이 확정되지 않은 삭제 계획은 분리한다. snapshot ID와 object 경로뿐 아니라 관측 시점과 조회 권한도 기록한다. 권한 부족으로 보이지 않는 객체를 곧바로 물리 삭제됐다고 단정해서는 안 된다. [1, 3]
끊어진 참조의 합성 사례
설명용으로 공개 snapshot의 모든 참조 경로가 inventory에 있다고 정의하면 끊어진 참조 0개는 통과한다. 필요한 경로가 하나 빠져 1개가 되면 실패다. 현재 최신 표가 우연히 읽힌다는 이유로 다른 공개 snapshot의 실패를 무시하지 않는다. 반대로 만료가 확정된 비공개 참조는 승인 범위와 분리해야 한다. [1, 3]
Truthound의 참조 무결성 검사
Truthound Core의 ReferentialIntegrityValidator로 snapshot 경로 열이 준비한 객체 경로 목록에 존재하는지 검사할 수 있다. 목록 수집의 일관성·권한·완전성은 저장소 도구가 담당한다. 실패를 발견하면 추가 정리 승인을 보류하고 catalog commit과 삭제를 분리하는 지원 경로를 확인한다. 이 검사를 통과했다고 파일 내용이 정상이라는 결론까지 확장하지 않는다. [1, 2, 3]
적용 조건
승인 snapshot_id의 referenced_path와 같은 시점에 관측한 object_path inventory를 연결하고 권한·관측 시점을 기록한다.
대안
catalog commit과 객체 삭제를 분리하는 지원된 유지보수 경로를 사용한다.
한계
객체 inventory 수집·권한·일관성은 저장소 도구 책임이다. Truthound는 파일을 삭제하거나 복원하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
