Delta ANSI partition filter와 scan의 NULL 해석을 맞춘다
잘못된 partition 문자열의 NULL 해석은 full scan과 filter 경로에서 같은 정책을 따라야 한다. raw 값과 ANSI 설정을 보존해 cast 오류를 정상 빈 결과와 구분한다.
같은 raw partition을 다르게 읽지 않는다
필터와 반환 행은 같은 파티션 원문을 일관되게 해석해야 한다. 운영자가 scan 계약을 독립적으로 정하면 Truthound Core로 filter 결과 상태를 대조할 수 있다. [1, 2, 3]
전체 읽기는 NULL인데 filter는 예외인 보고
Delta #7930은 master·Spark 4.x에서 INT partition 문자열 abc가 전체 scan에는 NULL이지만 ANSI filter에서는 CAST_INVALID_INPUT이라고 보고한다. raw partitionValues cast와 lenient scan 경로의 차이다. [1]
실행 상태와 key를 함께 남긴다
같은 snapshot에서 raw 값, 반환 상태, ANSI 설정과 IS NULL 결과를 기록한다. abc를 임의 숫자로 바꾸어 query를 성공시키면 원본 해석 계약을 바꾼다. [1, 3]
lenient scan 계약의 독립 답
설명용 scan은 key 1의 abc를 NULL로 노출한다. p_int IS NULL의 기대 상태 SUCCESS_KEY_1은 통과하고 CAST_ERROR는 실패한다. 이는 명시한 lenient 계약이며 malformed 입력이 언제나 허용된다는 뜻은 아니다. [1, 3]
상태 tag를 검사하는 역할
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 준비한 비결측 status tag를 비교한다. parsing 정책과 경로 실행은 운영자가 맡는다. SDK는 Spark ANSI나 Delta partition cast를 바꾸지 않는다. [1, 2, 3]
invalid 원문은 격리해 보존한다
지원 lenient 경로와 invalid raw 목록을 검토한다. p_int=2·Boolean 대조도 따로 두어 잘못된 integer 하나의 결과를 모든 파티션에 적용하지 않는다. [1, 3]
전체 조회의 성공은 부분 소비를 승인하지 않는다
완전 scan이 성공해도 filtered consumer는 실패할 수 있다. 수용표에서 오류와 선택 key를 연결해야 parsing 실패를 정상 0건으로 오인하지 않는다. [1, 3]
적용 조건
같은 snapshot의 raw partition·scan 상태·ANSI와 filter 결과를 준비한다.
대안
지원 lenient 경로와 invalid raw 격리를 함께 검토한다.
한계
malformed 원문을 임의 숫자로 바꾸면 원래 lenient 계약을 검사할 수 없다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
