Styxis
Company
Knowledge

Iceberg UUID 복합 equality delete가 scan task에 붙었는지 확인하자

삭제 파일이 존재하고 commit돼 있어도 reader의 적용 계획에 포함되지 않으면 행은 남는다.

삭제 파일의 존재 다음 단계

삭제 파일의 존재와 reader에 전달되는 적용 계획은 별도 상태다. Truthound의 참조 검사는 파일 inventory와 scan-task 관계를 연결할 수 있지만 실제 키 비교가 정확하다는 결론까지 주지는 않는다. [1, 2, 3]

복합 UUID 키에서 제시된 누락

Iceberg 공개 보고는 UUID와 정수로 이뤄진 equality delete가 어떤 FileScanTask에도 연결되지 않아 삭제가 적용되지 않는 사례를 설명한다. 단일 UUID 키와 정수·문자열 복합 키는 대조군이다. UUID 값의 표준 형식 문제와 scan planner의 적용 판단을 혼동하지 않는다. [1]

적용돼야 할 파일을 먼저 정하기

복합 키 타입별로 계획된 delete 파일과 실제 scan task의 참조를 대조하고, 계획 단계에서 빠진 파일은 reader 결과 평가 전에 격리한다. 설명용으로 적용이 필요한 delete 파일 1개가 있다면 실제 연결 1개는 이 참조 조건을 통과하고 0개는 실패한다. 모든 delete 파일을 모든 task에 붙이라는 규칙은 아니며 적용 범위를 독립적으로 정의해야 한다. [1, 3]

Truthound의 참조 검사와 후속 읽기

Truthound Core의 ReferentialIntegrityValidator로 적용돼야 할 delete_file_id가 추출한 scan-task 관계 표에 존재하는지 확인할 수 있다. 연결 확인 뒤에는 삭제 대상과 survivor를 실제로 읽어 대조한다. Truthound가 UUID bound 비교나 scan planner를 수정하지 않는다. 키 표현을 바꾸는 우회를 선택한다면 기존 참조와 업무 의미가 유지되는지 별도 검증해야 한다. [1, 2, 3]

적용 조건

승인된 적용 범위의 delete_file_id 목록을 독립 확보하고 같은 scan의 scan_task_id 관계 표에 연결한다.

대안

지원되는 다른 키 표현으로 변경할 경우 의미 동일성을 별도 검증한다.

한계

  • 파일이 참조되어도 키 비교가 정확하다는 증명은 아니다. Truthound는 Iceberg scan planner의 UUID bound 비교를 바꾸지 않는다.

근거

사건 확인일
대상 확인일
수정일