Trino Hive decimal 변경 후 Parquet 필터 누락: 저장 타입과 scale을 함께 확인하자
현재 schema만 보고 오래된 정수 파일의 통계를 해석하면 일치하는 행을 가지치기할 수 있다.
논리 타입과 물리 통계의 간격
논리 타입 변경 뒤에는 물리 통계의 단위 해석까지 대조해야 한다. Truthound의 집합 검사는 두 읽기 경로의 차이를 드러낼 수 있지만, 원본 Parquet 저장 타입과 현재 decimal scale을 함께 기록해야 원인을 설명할 수 있다. [1, 2, 3]
전체 읽기는 되고 필터는 빠지는 사례
Trino 공개 재현은 기존 Parquet가 정수로 저장한 열을 Hive에서 scale 있는 decimal로 바꾼 상태를 다룬다. 무필터 조회는 정상인데 통계 기반 필터가 일치 행을 놓치며, 통계를 무시한 읽기가 대조군으로 제시된다. 과거 파일 전체가 손상됐다는 결론과는 다르다. [1]
독립 전체 읽기를 기준으로
오래된 파일의 저장 타입·현재 논리 타입·scale을 기록하고, 통계 가지치기 결과를 전체 디코딩 후 필터한 결과와 같은 키 집합으로 비교한다. 두 경로의 predicate도 같은 논리 단위로 표현한다. 범위가 큰 경우 비용 때문에 파일 일부를 시험한다면 그 범위를 보고서에 남긴다. [1, 3]
작은 일치 집합의 합성 예
설명용으로 독립 전체 읽기에서 조건을 만족하는 키가 1개라고 확정하면 필터 경로도 그 1개를 반환해야 한다. 통계 기반 경로에서 일치 키가 0개라면 전체 읽기에 존재하는 승인 대상이 가지치기로 사라진 것이다. 다른 키 하나가 반환되면 개수는 같아도 집합 대조에서는 실패한다. 기대 집합을 통계 기반 경로에서 먼저 구하면 이 검사는 순환한다. [1, 3]
Truthound로 대조하고 남겨둘 한계
Truthound Core의 DistinctValuesEqualSetValidator로 승인한 일치 키 집합과 pushdown 결과를 비교할 수 있다. Truthound가 Parquet 통계를 재작성하는 것은 아니다. 검증된 전체 읽기 후 필터를 대안으로 쓰거나 타입·통계 처리 수정 뒤 같은 과거 파일로 재시험한다. 테스트한 파일 범위 밖의 정확성까지 자동으로 확장하지 않는다. [1, 2, 3]
적용 조건
같은 과거 파일의 physical_type·logical_scale·predicate와 matching_row_id를 보존하고 기대 키는 독립 전체 디코딩에서 구한다.
대안
통계 pruning을 쓰지 않는 전체 읽기 대조로 필터 결과를 구한다.
한계
Truthound는 Parquet statistics를 재작성하지 않는다. 전체 읽기 대조는 검사 비용이 있으므로 대상 파일과 범위를 명시해야 한다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
