Styxis
Company
Knowledge

Delta VACUUM inventory 오류에서는 nullable과 comment도 본다

VACUUM inventory 거절은 실제 dtype 불일치와 nullable·comment 같은 field metadata 차이를 나누어 조사한다. 원본 schema를 보존하고 DRY RUN 검토를 파일 삭제 승인과 분리한다.

문서 계약과 전체 schema 동등성을 나눈다

문서의 네 열과 구현의 전체 schema 비교를 구분한다. 운영자가 name·type과 metadata를 추출하면 Truthound Core는 문서 계약을 검사하고 나머지 차이는 진단 근거로 남길 수 있다. [1, 2, 3]

이름과 타입이 맞아도 거절된 보고

Delta #7735는 path·length·isDir·modificationTime이 맞아도 nullable·comment 때문에 VACUUM USING INVENTORY가 거절된다고 보고한다. 버전란은 비어 있다. 후속 논의는 순서 민감성과 NULL-first UNION 대조도 추가한다. [1]

DRY RUN으로만 호환성을 살핀다

네 field의 name, dtype, nullable과 comment를 기록해 실제 타입 불일치와 metadata만의 차이를 나눈다. 원본 inventory를 보존하고 DRY RUN으로 검토한다. 이 진단은 파일 삭제 승인이 아니다. [1, 3]

네 이름과 타입의 독립 조건

설명용 필수 쌍은 path:string,length:long,isDir:boolean,modificationTime:long이다. 모두 맞는 true는 그 문서 계약만 통과한다. length:string의 false는 metadata를 보기 전 실패다. true도 VACUUM의 전체 schema 수용을 약속하지 않는다. [1, 3]

추출한 schema summary에 적용한다

Truthound Core Python SDK 3.3.2의 RowLevelValidator는 준비한 schema summary에 predicate를 적용할 수 있다. metadata와 문서 기준은 운영자가 준다. SDK는 Spark StructField metadata 제거나 파일 삭제를 수행하지 않는다. [1, 2, 3]

변환식의 이름보다 실제 schema를 본다

설치 버전의 비교를 확인하고 원본·변환 inventory를 DRY RUN으로 대조한다. no-op cast는 comment를 유지할 수 있으므로 식을 바꿨다는 사실보다 변환된 schema를 검증한다. [1, 3]

정확한 오류 설명이 다음 작업을 좁힌다

이미 맞는 열을 계속 이름 변경하는 대신 metadata 차이를 설명할 수 있다. 파일 eligibility와 삭제 안전은 schema 호환을 이해한 뒤 별도의 판단으로 남긴다. [1, 3]

적용 조건

inventory 네 field의 name·dtype·nullable·comment·순서를 준비한다.

대안

원본·변환 schema를 보존한 DRY RUN으로 실제 비교를 확인한다.

한계

  • 문서 열 계약 통과는 VACUUM 수용이나 삭제 안전성의 보장이 아니다.

근거

사건 확인일
대상 확인일
수정일