Delta 삭제 벡터가 적용되지 않을 때: URI와 파일 참조 검사
공백이 있는 파티션만 삭제 행을 다시 내보낸다면 경로 정규화와 삭제 적용을 나눠 확인한다.
삭제된 행이 보이는 경로부터 좁히기
삭제 메타데이터를 연결하는 파일 경로는 문자 표기 차이가 아니라 동일 객체 식별 여부로 검증해야 한다. 삭제 요청의 성공 여부만 보면 읽기 단계에서 메타데이터 연결이 끊긴 상황을 놓칠 수 있다. 먼저 삭제 벡터가 어느 데이터 파일에 붙어야 하는지 확인하고, 그다음 실제 읽기 결과에서 삭제가 반영됐는지 따로 대조한다. [1, 2, 3]
인코딩된 경로와 디코딩된 경로
Polars 보고의 재현은 파티션 값에 공백이 있을 때 삭제한 id=2가 다시 읽히지만 공백 없는 대조에서는 id=1만 남는다고 설명한다. 제시된 원인은 파일 목록의 디코딩된 경로와 Delta 로그의 percent-encoded 경로를 문자열로 연결하는 차이다. 보고에 등장하는 다른 reader의 결과는 대조 근거이며, 여기서 엔진을 다시 실행한 결과는 아니다. [1]
같은 객체를 가리키는지 확인하기
원본 URI와 정규화 객체 키를 함께 기록하고 data file과 deletion vector의 연결을 확인한다. 공백 없는 대조군만으로 승인을 끝내지 않는다. 저장소 규칙에 따라 한 번 정규화한 키와 원본 표현을 모두 보관하면 실패가 파일 부재인지 표기 불일치인지 추적할 수 있다. 서로 다른 실제 키가 하나로 합쳐지는 정규화 충돌도 별도로 찾아야 한다. [1, 3]
참조 검사와 삭제 결과를 구분하기
설명용으로 파일 목록의 정규화 키가 k=a b/part이고 삭제 벡터도 같은 객체를 참조한다고 정의한다. 해결되지 않은 연결이 0개면 이 참조 조건은 정상이다. 로그 표현 k=a%20b/part를 그대로 연결해 1개가 미해결로 남으면 실패로 분리한다. 이 기준은 승인한 객체 목록에서 나오며, 연결이 성공했다는 사실만으로 삭제 행이 실제 제외됐다고 승인하지 않는다. [1, 3]
Truthound의 역할은 연결 감사다
Truthound Core의 ReferentialIntegrityValidator는 준비된 파일 목록과 삭제 벡터 참조 사이의 무결성 검사에 사용할 수 있다. URI를 해석하는 저장소 규칙은 입력을 만드는 쪽에서 먼저 확정해야 한다. 여러 번 디코딩해 억지로 일치시키면 다른 객체를 가리킬 수 있다. 참조가 해결된 뒤에도 삭제 전후 키 집합을 reader별로 비교해야 하며, 이 검사가 Polars의 삭제 적용 코드를 고치지는 않는다. [1, 2, 3]
적용 조건
data_file_uri, normalized_object_key, deletion_vector_key 연결 표를 원본 또는 독립 대조 경로에서 준비하고 관측 대상과 동일한 실행·파일·키 범위로 연결한다.
대안
검증된 저장소 URI 정규화 규칙으로 경로 연결을 재구성한다.
한계
URI를 무조건 여러 번 디코딩하면 실제 키가 바뀔 수 있다. 저장소의 경로 규칙을 먼저 확정해야 한다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
