DataFusion Parquet Variant 병합 후 NULL 증가: layout별 존재율을 확인하자
원본 필드의 부재와 reader가 표현을 해석하지 못해 만든 NULL은 구분해야 한다.
파일마다 다른 표현을 합칠 때
스키마 병합 후의 NULL 증가는 원본 결측과 표현 변환 손실을 분리해 조사해야 한다. 일부 파일은 필드를 typed 영역에, 다른 파일은 원래 value 바이트에 보관할 수 있다. Truthound에 전체 결측률만 넘기면 특정 layout에만 생긴 손실이 평균에 가려진다. [1, 2, 3]
일반 struct 보충과 Variant 의미의 충돌
DataFusion의 공개 보고는 서로 다른 shredding layout의 Parquet Variant를 병합할 때 일반 struct의 NULL 보충 방식이 Variant의 잔여 value 표현과 맞지 않는 문제를 설명한다. 원본 바이트에는 값이 있어도 병합된 typed field가 NULL로 읽힐 수 있다는 내용이다. writer가 원본 필드 자체를 잃은 사례와 구분해야 한다. [1]
존재 증거를 먼저 보존하기
파일 레이아웃별로 원본 필드 존재율과 디코딩 후 존재율을 비교하고, 특정 레이아웃에서만 필드가 비면 해당 파일의 합본 승인을 보류한다. 파일 ID, layout 종류, 행 식별자, 원본 필드 존재 여부를 묶어 준비한다. 기대 존재 여부는 같은 문제가 있는 병합 reader에서 가져오지 않는다. [1, 3]
평균보다 layout별 반례
설명용으로 필드가 존재하는 원본 6행을 정의하면 디코딩 후에도 6행이 그 필드를 가져야 한다. 그중 다른 layout의 값이 빠져 존재 행이 3으로 줄면 실패다. 원래 결측인 행을 강제로 채우라는 규칙은 아니다. 원본에 필드가 존재한다는 증거가 있는 행만 이 조건을 적용한다. [1, 3]
Truthound의 조건부 검사
Truthound Core의 ConditionalExpressionValidator로 원본 존재 표시가 참인 행에서 디코딩 존재 표시도 참인지 검사할 수 있다. Variant 바이트를 이해하는 독립 reader가 먼저 두 상태를 추출해야 한다. Truthound가 Variant를 직접 디코딩하거나 모든 layout을 추론하는 것은 아니다. 각 layout을 검증된 reader로 읽어 명시적으로 병합하는 대안도 값과 타입 보존을 함께 확인해야 한다. [1, 2, 3]
적용 조건
같은 파일·행에 file_layout, source_field_present, decoded_field_present를 연결하고 원본 존재는 독립 Variant reader로 확인한다.
대안
각 Variant layout을 지원하는 reader로 독립 디코딩한 뒤 명시적으로 병합한다.
한계
Truthound가 Variant 바이트를 직접 디코딩하거나 shredding 규약을 자동 추론하지 않는다. 원본 필드 존재 증거는 독립 reader가 제공해야 한다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
