Trino bloom filter는 반대 부호의 zero도 같은 행을 남겨야 한다
SQL에서 동등한 부호 반대 zero가 bloom filter에서 누락되는지 같은 snapshot의 키로 비교한다. count가 같아도 선택된 정체성은 다를 수 있어 pruning 사용·미사용의 집합 대사가 필요하다.
SQL 동등성과 pruning을 맞춘다
SQL에서 같은 zero가 bloom pruning에서는 서로를 제외해서는 안 된다. 같은 파일의 선택 key와 독립 zero 동등성 기준을 준비하면 Truthound Core로 결과를 대조할 수 있다. [1, 2, 3]
비트가 다른 zero를 놓친 보고
Trino #31905는 485-SNAPSHOT의 Parquet·ORC bloom filter가 -0.0과 0.0을 다른 값처럼 조회한다고 보고한다. SQL 비교는 둘을 같게 본다. 기본 Parquet bloom과 ORC 활성 설정의 차이도 구분한다. [1]
같은 snapshot에서 설정을 비교한다
bloom 사용·미사용 key 집합을 같은 snapshot으로 비교하고 zero 원래 부호, 조건과 format을 남긴다. 반대 부호 조건에서만 key가 빠지면 pruning 경로를 보류한다. 원본 zero를 승인 없이 전부 정규화하지 않는다. [1, 3]
z가 남아야 하는 독립 기준
설명용 z=-0e0이며 다른 key의 값은 1e0·3e0다. SQL -0e0=0에 따라 x=0의 기대 집합은 z다. z는 통과하고 empty는 실패한다. 이는 membership 의미이며 모든 엔진의 signed-zero 전체 순서를 같게 하라는 요구가 아니다. [1, 3]
SDK는 key 집합을 대조한다
Truthound Core Python SDK 3.3.2의 DistinctValuesEqualSetValidator는 내보낸 key와 expected_values를 비교한다. snapshot과 조건 의미는 운영자가 공급한다. SDK는 bloom hash를 바꾸거나 다른 엔진의 zero 순서를 인증하지 않는다. [1, 2, 3]
영향 query의 대체 경로
bloom을 끈 경로와 누락 없는 지원 reader를 검증한다. format·설정별 조건을 유지해야 다른 경로의 성공을 원래 경로에 잘못 적용하지 않는다. [1, 3]
실제 집합이 개수보다 강한 근거다
한 행 fixture에서는 count도 실패를 드러내지만 실제 자료에서는 key 대사가 더 강하다. 총수가 같아도 빠진 zero 행이 다른 행으로 대체될 수 있다. [1, 3]
적용 조건
같은 파일·snapshot의 zero 원시 부호와 bloom 설정을 보존한다.
대안
bloom 비활성 대조와 누락 없는 지원 reader를 확인한다.
한계
SQL zero 동등성을 다른 엔진의 전체 정렬 순서와 혼동하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
