NaN page의 통계 부재를 row-group 범위에서 빼면 안 되는 이유
알 수 없는 범위와 빈 page를 구분하고 원시 유효값의 포함을 확인한다.
부재와 알 수 없음의 차이
일부 page의 알 수 없는 범위는 기여 없음이 아니므로 row-group 통계가 모든 유효 값을 보수적으로 포함하는지 확인해야 한다. 다른 page에 정상 통계가 있어도 알 수 없는 page 전체가 그 범위 안에 있다고 가정할 수 없다. 정밀해 보이는 숫자가 오히려 누락을 정당화할 수 있다. 기록 통계와 원시 유효값의 독립 범위를 표로 준비해 Truthound의 인수 검사에 연결한다. [1, 2, 3]
AI 원인 설명의 귀속
Polars #29640은 한 NaN이 있는 Parquet page 통계가 row-group 범위에서 빠져 실제 100.0 행이 scan 필터에서 누락되는 보고다. 본문 원인 설명은 AI 인용으로 구분한다. 후속은 같은 원인 후보의 수정 방향을 제안했다. 이 글이 writer를 실행해 원인을 확정하거나 patch 성능을 측정한 것은 아니다. [1]
page와 row-group 경계
자료 담당자는 원시 유효 값·NaN mask·page와 row-group 경계·기록 통계를 보존한다. 기록 하한이 원시 최솟값보다 크면 해당 통계로 pruning하는 경로를 보류하고 독립 읽기 대조를 한다. 원시 유효 값에서 독립 범위를 계산하고 page 통계 부재와 빈 page를 구분한다. 실제 파일을 별도 대상에서 읽는다. [1, 3]
0을 포함해야 하는 하한
설명용 row group은 page A에 [0,NaN,100], page B에 [200]을 가지므로 유효 전체 최솟값은 0이다. 기록 하한 0은 이 기준과 같아 통과하지만 116508은 원시 0과 100을 제외하므로 실패한다. 상한·NaN·NULL 정책과 실제 행 집합의 보존은 별도로 대사해야 한다. [1, 3]
통계 감사표의 범위
Truthound Python SDK 3.3.2의 ColumnPairValidator는 운영자가 추출한 advertised_minimum과 independent_valid_minimum을 비교한다. 원시값 읽기·page 해석·범위 계산은 외부에서 준비한다. 하한 일치만으로 상한·NULL·NaN·전체 행 보존을 입증하지 않는다. Core는 외부 범위 숫자를 비교하며 Parquet writer나 pruning 코드를 수정하지 않는다. [1, 2, 3]
비pruning 읽기와 행 ID
검증된 비pruning 읽기 경로와 writer 설정을 비교하고 예상 행 ID까지 전체 결과를 대사한다. 동일 조건의 row_group_id, advertised_minimum, independent_valid_minimum 표를 이미 독립 기준과 대사한다면 추가 검사의 이점은 작다. [1, 3]
적용 조건
원시 유효 값에서 독립 범위를 계산하고 page 통계 부재와 빈 page를 구분한다. 실제 파일을 별도 대상에서 읽는다.
대안
검증된 비pruning 읽기 경로와 writer 설정을 비교하고 예상 행 ID까지 전체 결과를 대사한다.
한계
하한 일치만으로 상한·NULL·NaN·전체 행 보존을 입증하지 않는다. Core는 외부 범위 숫자를 비교하며 Parquet writer나 pruning 코드를 수정하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
