Truthound · 쿼리 결과의 정확성 · 1/3
집계·조인·필터 결과를 독립 기준과 대조합니다.
49 편
OpenSearch date_nanos bucket 0: 원본이 아닌 range rewrite 단위를 대조하기
검색 경로와 aggregation fast path를 분리해야 한다. 승인된 원본 시간과 경계로 계산한 bucket을 optimized 결과와 대조한다.
Trino 예약어 열의 metadata query도 실제로 준비됐는가
예약어 열을 가진 테이블은 소비자가 쓰는 각 metadata query를 직접 확인한다. 다른 metadata 경로의 성공이나 축약 SQL 설명으로 필요한 경로의 parse 성공을 대신하지 않는다.
Pinot의 마지막 metadata 오류를 Trino 빈 split으로 승인하지 않는다
Pinot split의 데이터 block이 비어도 final metadata 오류가 있으면 성공 집계에서 제외한다. metadata 미수신도 정상 공백과 구분해 누락 segment를 숨기는 낮은 집계를 막는다.
Trino bloom filter는 반대 부호의 zero도 같은 행을 남겨야 한다
SQL에서 동등한 부호 반대 zero가 bloom filter에서 누락되는지 같은 snapshot의 키로 비교한다. count가 같아도 선택된 정체성은 다를 수 있어 pruning 사용·미사용의 집합 대사가 필요하다.
자정 후퇴 구간에서는 현지 날짜가 timestamp 순서를 따르지 않는다
자정 fallback 구간의 local date는 UTC 순서대로 증가하지 않을 수 있다. 역사 timezone 구간과 식 종류를 고정해 pruning 전후 key를 비교하고 skipping 비활성화를 모든 재작성의 해법으로 보지 않는다.
Hudi 증분 pruning의 통계가 과거 파일 범위를 덮는지 확인하기
과거 증분 조회의 정답을 현재 snapshot에서 만들면 pruning 누락을 놓칠 수 있다. 요청한 timeline 범위를 고정하고 같은 범위의 비최적화 키 집합과 대조한다.
Hudi expression index의 정체성에는 함수도 포함된다
expression index는 원본 열뿐 아니라 함수까지 query와 맞아야 한다. 다른 함수를 쓰는 filter는 같은 snapshot의 인덱스 미사용 결과와 대사해 잘못된 pruning을 찾는다.
빈 Xarray 선택과 backend 실행 오류를 같은 무자료로 저장하지 않기
빈 축은 정상 결과일 수 있다. 실행 예외와 축 구조를 별도 상태로 남긴다.
UTC 정렬을 현지 날짜 정렬로 이어받기 전에
시간대 변환 뒤 실제 목록의 순서와 독립 최솟값을 다시 확인한다.
NULL struct와 자식 NULL을 중복으로 지우기 전의 작은 실험
부모가 없는 값과 자식이 비어 있는 값을 구분하는 정책을 먼저 정한다. 전체 고유값 수와 행별 판정도 따로 본다.
shift 앞에 이동한 필터가 전이 통계를 바꿀 때
이전 상태는 원래 순서열에서 도출한다. 단순히 같은 행 수를 기대하는 시험으로는 연산 순서를 확인하기 어렵다.
빈 목록의 자리에 다른 부모의 원소가 들어가는지 확인하기
총 원소 수와 부모별 소유권을 나눠 보고 빈 부모 행을 시험에 남긴다.
NaN page의 통계 부재를 row-group 범위에서 빼면 안 되는 이유
알 수 없는 범위와 빈 page를 구분하고 원시 유효값의 포함을 확인한다.
Polars mixed-key full join: 두 행이 남아도 고객 키와 payload를 다시 대사하기
동일 행 수는 키와 payload 보존을 입증하지 않으므로 full join의 승인 키·출처 값으로 결과를 대사해야 한다.
시각 하나의 GPU 평균이 NULL이면 관측 존재부터 확인하기
유효 시각 하나의 평균 기준과 GPU 지원·CPU fallback을 구분한다.
잘린 Delta timestamp 통계를 정확한 상한으로 읽지 않기
millisecond 통계와 microsecond 원시값의 정밀도 차이를 보존한다. 같은 사건의 중복 보고와 후속 수정도 함께 읽는다.
집계 scalar가 list로 바뀌면 계획보다 실행값을 보자
같은 식의 재사용이 집계 역할을 바꾸는지 계획과 실제 dtype로 확인한다.
Parquet projection 뒤 Dask 배열 전환: partition과 길이 벡터의 단위 맞추기
projection 후 실행 그래프가 partition을 합칠 수 있으므로 선언 partition 수와 실제 길이 벡터의 소유 단위를 맞춰야 한다.
Dask loc의 171과 13: index mask를 위치 배열로 억지 적용하지 않기
같은 index 식도 최적화 뒤 block 수가 달라질 수 있으므로 mask와 자료의 분할 대응을 실행 경계에서 확인해야 한다.
비유한 singleton의 모집단 분산 0을 안정성으로 읽지 않는다
비유한 singleton의 모집단 분산 결과를 유한 singleton의 무변동 상태와 합치지 않는다. 입력 class와 결과 tag를 함께 남겨 알 수 없는 산술이 안정성 지표로 발행되지 않게 한다.
