Styxis
Company
Knowledge

Delta 삭제 벡터가 있어도 활성 파일 inventory는 남아야 한다

삭제 벡터가 붙은 파티션을 정리하기 전에 활성 로그의 파일 목록과 통계를 대사한다. 생존 행 수와 물리 파일 수를 구분해야 빈 파티션이라는 오판을 막을 수 있다.

행 삭제와 파일 부재를 나눈다

행 일부의 삭제와 파일 부재는 다른 상태다. 파티션 inventory에는 deletion vector가 있는 활성 파일도 남아야 한다. 정리 판단에 통계를 쓰기 전, 운영자가 만든 로그 기준과 관측 파일 수를 Truthound Core로 대조할 수 있다. [1, 2, 3]

살아 있는 파일을 제외한 보고

Trino #31397은 Delta $partitions가 deletion vector를 가진 AddFile을 제외하여 생존 행이 있는데도 file_count와 total_size를 0으로 보인다고 보고한다. 이 보고는 inventory 회계 문제이며 그 파일의 모든 행이 삭제됐다는 뜻이 아니다. [1]

같은 Delta 버전의 두 목록

파티션별 활성 AddFile과 deletion vector 참조를 따로 모으고 같은 버전의 $partitions와 파일 수·크기를 대사한다. 통계 0만으로 정리나 빈 파티션 판정을 내리지 않는다. 개수 뒤에 있는 실제 파일 정체성도 보존한다. [1, 3]

두 행 중 하나를 지운 파일

설명용으로 두 행을 가진 활성 파일 하나에서 deletion vector가 한 행만 지웠다고 정한다. 기대 물리 inventory는 1 file이다. 1은 통과하고 0은 살아 있는 파일을 누락해 실패한다. 생존 1 row와 1 file은 서로 다른 단위다. [1, 3]

준비한 계수를 비교하는 범위

Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 준비한 비결측 관측·기대 파일 수 열을 ==로 비교할 수 있다. 활성 로그 재구성과 버전 정렬은 운영자가 맡는다. SDK가 deletion vector를 해독하거나 저장 객체를 제거하지는 않는다. [1, 2, 3]

논리 행과 물리 inventory의 기준

논리 생존 행 수는 실제 행 조회로, 물리 inventory는 transaction log로 확인한다. 파일 min/max는 생존 행의 정확한 극값보다 바깥 경계일 수 있으므로 이 대사로 극값까지 인증하지 않는다. [1, 3]

보관 작업의 승인에 남길 증거

불일치가 나면 그 통계에 의존한 보관 판단을 보류한다. 개수가 같아도 같은 파일이 남았다는 증거는 아니므로 경로별 대사를 이어간다. 그래야 빈 파티션이라는 설명과 실제 삭제 후보를 연결할 수 있다. [1, 3]

적용 조건

같은 Delta 버전의 활성 AddFile과 DV 참조·파티션 계수를 준비한다.

대안

논리 행 조회와 transaction-log 파일 inventory를 따로 대사한다.

한계

  • 파일 inventory 일치는 생존 행 extrema나 DV 내용의 검증이 아니다.

근거

사건 확인일
대상 확인일
수정일