Styxis
Company
Knowledge

Delta ANSI partition filter와 scan의 NULL 해석을 맞춘다

잘못된 partition 문자열의 NULL 해석은 full scan과 filter 경로에서 같은 정책을 따라야 한다. raw 값과 ANSI 설정을 보존해 cast 오류를 정상 빈 결과와 구분한다.

같은 raw partition을 다르게 읽지 않는다

필터와 반환 행은 같은 파티션 원문을 일관되게 해석해야 한다. 운영자가 scan 계약을 독립적으로 정하면 Truthound Core로 filter 결과 상태를 대조할 수 있다. [1, 2, 3]

전체 읽기는 NULL인데 filter는 예외인 보고

Delta #7930은 master·Spark 4.x에서 INT partition 문자열 abc가 전체 scan에는 NULL이지만 ANSI filter에서는 CAST_INVALID_INPUT이라고 보고한다. raw partitionValues cast와 lenient scan 경로의 차이다. [1]

실행 상태와 key를 함께 남긴다

같은 snapshot에서 raw 값, 반환 상태, ANSI 설정과 IS NULL 결과를 기록한다. abc를 임의 숫자로 바꾸어 query를 성공시키면 원본 해석 계약을 바꾼다. [1, 3]

lenient scan 계약의 독립 답

설명용 scan은 key 1의 abc를 NULL로 노출한다. p_int IS NULL의 기대 상태 SUCCESS_KEY_1은 통과하고 CAST_ERROR는 실패한다. 이는 명시한 lenient 계약이며 malformed 입력이 언제나 허용된다는 뜻은 아니다. [1, 3]

상태 tag를 검사하는 역할

Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 준비한 비결측 status tag를 비교한다. parsing 정책과 경로 실행은 운영자가 맡는다. SDK는 Spark ANSI나 Delta partition cast를 바꾸지 않는다. [1, 2, 3]

invalid 원문은 격리해 보존한다

지원 lenient 경로와 invalid raw 목록을 검토한다. p_int=2·Boolean 대조도 따로 두어 잘못된 integer 하나의 결과를 모든 파티션에 적용하지 않는다. [1, 3]

전체 조회의 성공은 부분 소비를 승인하지 않는다

완전 scan이 성공해도 filtered consumer는 실패할 수 있다. 수용표에서 오류와 선택 key를 연결해야 parsing 실패를 정상 0건으로 오인하지 않는다. [1, 3]

적용 조건

같은 snapshot의 raw partition·scan 상태·ANSI와 filter 결과를 준비한다.

대안

지원 lenient 경로와 invalid raw 격리를 함께 검토한다.

한계

  • malformed 원문을 임의 숫자로 바꾸면 원래 lenient 계약을 검사할 수 없다.

근거

사건 확인일
대상 확인일
수정일