Trino Parquet min/max에는 비교 순서 선언도 필요하다
Parquet min/max를 소비하기 전에 각 leaf의 column_orders 선언을 schema 순서와 함께 확인한다. 선언 존재를 통과해도 실제 bounds의 수치 정확성은 독립적으로 검증한다.
숫자만으로 통계 의미가 정해지지 않는다
통계는 값과 함께 비교 순서를 선언해야 한다. 운영자가 footer 표를 추출하면 Truthound Core로 다른 reader의 pruning 전제 존재를 검사할 수 있다. [1, 2, 3]
column_orders가 없는 writer 보고
Trino #31946은 min_value·max_value는 쓰지만 FileMetaData.column_orders는 빠진다고 설명한다. default에 기대는 reader는 쓰지만 명시 순서는 미정이다. 후속 TYPE_ORDER PR은 이 글의 배포 확인이 아니다. [1]
leaf 순서대로 선언을 연결한다
각 footer에서 leaf 순서, dtype, min/max와 column_orders를 모은다. 통계를 쓸 leaf마다 해석 가능한 선언을 요구한다. 전체 entry 개수만 세지 않고 schema 순서도 보존한다. [1, 3]
두 leaf의 존재 조건
설명용 파일에는 통계를 가진 leaf 2개가 있다. 대응 entry가 모두 있으면 complete=true로 통과한다. false는 통계 pruning을 보류할 실패다. 이 Boolean은 bounds 값의 정확성을 보장하지 않는다. [1, 3]
footer 수정과 검사 역할을 나눈다
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 비결측 declaration flag를 true와 비교한다. footer 읽기와 지원 order 의미는 운영자가 제공한다. SDK는 footer를 다시 쓰거나 미지원 타입의 순서를 정의하지 않는다. [1, 2, 3]
소비 reader가 실제로 쓰는 방법도 본다
writer footer와 consuming reader의 통계 동작을 함께 확인한다. 미정 순서 bounds를 library 하나의 default에 말없이 맡기지 않고 pruning 승인을 보류한다. [1, 3]
선언과 수치 정확성은 두 의무다
그럴듯한 min/max만으로 구현 사이 ordering 의미를 전달할 수 없다. 선언 존재를 통과해도 숫자 정확성은 독립된 검증으로 남긴다. [1, 3]
적용 조건
leaf 순서·dtype·통계 존재·column_orders를 footer에서 추출한다.
대안
writer footer와 실제 consuming reader의 통계 사용을 함께 검증한다.
한계
선언 존재는 bounds 수치 정확성이나 모든 reader의 적용을 입증하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
