Iceberg DeleteFile copy 후 equalityFieldIds가 남았는지 확인하기
파일 경로가 복사되고 commit이 성공해도 삭제 의미를 정의하는 키 메타데이터가 빠질 수 있다.
삭제 파일의 의미를 함께 복사하기
삭제 파일 복제는 경로 변경뿐 아니라 삭제 의미를 정의하는 필수 메타데이터의 보존이 필요하다. Truthound가 검사할 대상은 파일 존재 여부만이 아니라 delete 종류와 equality field 목록이다. 같은 경로의 파일이 있다고 삭제 계획이 유효한 것은 아니다. [1, 2, 3]
commit 뒤 planFiles가 실패한 경로
Iceberg 공개 보고는 DeleteFile builder의 copy가 equalityFieldIds를 빠뜨려 복사본 commit은 성공하지만 다음 planFiles에서 예외가 나는 재현을 제시한다. copy 뒤 equality ID를 명시적으로 다시 지정하는 우회도 설명한다. 쓰기 승인과 실제 scan 계획 준비성을 나눠 확인할 이유다. [1]
복사 전후의 목록을 비교하기
파일 복사 전후의 delete 종류와 equality field ID 목록을 대조하고, equality delete인데 키 목록이 없으면 catalog 등록을 보류한다. 설명용으로 승인 키 필드가 1개인 파일은 복사 후 1개를 유지해야 한다. 복사 후 equality field ID가 0개라면 삭제를 해석할 필수 키 정보가 빠진 것이다. 개수가 맞아도 다른 ID로 바뀌면 의미가 달라지므로 전체 목록 대조를 이어서 수행한다. [1, 3]
조건부 Truthound 검사
Truthound Core의 ConditionalExpressionValidator로 준비한 메타데이터 표에서 equality delete일 때 키 목록이 유효해야 한다는 조건을 검사할 수 있다. 메타데이터 추출과 원본 목록 보존은 별도 도구가 담당한다. Truthound가 builder를 호출하거나 수정하지 않는다. 명시적 ID 재지정 대안을 선택해도 commit 이후 planFiles와 실제 삭제 범위를 함께 시험해야 한다. [1, 2, 3]
적용 조건
같은 복사 작업의 delete_kind·equality_field_count·original_field_ids·copied_field_ids를 추출하고 원본 목록을 독립 보존한다.
대안
원본처럼 copy 후 equality field IDs를 명시적으로 다시 지정하는 경로를 검증한다.
한계
Truthound가 Iceberg DeleteFile builder를 호출하거나 수정하지 않는다. 검사용 메타데이터는 별도 추출해야 한다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
