DuckDB ENUM의 Parquet distinct_count: 허용 값과 실제 값을 구분하기
ENUM에 정의한 선택지 수는 파일에 실제로 기록된 값의 종류 수가 아니다.
도메인 크기를 관측값으로 쓰지 않기
허용 도메인의 크기와 파일에 실제 등장한 값의 개수는 별개 지표다. Truthound로 값의 분포를 검사하더라도 Parquet 통계에서 가져온 숫자를 정답으로 삼으면 같은 오류를 반복할 수 있다. footer와 실제 디코딩 값을 서로 다른 증거로 남겨야 한다. [1, 2, 3]
50개 선택지, 두 값만 쓴 파일
DuckDB 공개 재현은 50개 멤버를 정의한 ENUM에서 두 값만 사용했는데 Parquet distinct_count가 50으로 기록되는 상황을 설명한다. 이 차이는 허용 값이 잘못됐다는 뜻이 아니다. 값 집합은 유효해도 통계의 의미가 파일의 실제 내용과 달라진 사례다. [1]
검사는 row group 경계에서
ENUM 정의 크기, 행 그룹 메타데이터, 실제 값의 distinct 개수를 분리해 기록하고 통계 일치 전에는 해당 NDV를 비용·품질 판단의 근거로 쓰지 않는다. 파일 전체 값의 개수를 특정 row group의 통계와 비교하지 않도록 파일과 row group 식별자를 붙인다. [1, 3]
반복 횟수가 아니라 종류 수
설명용으로 파일의 모든 행이 두 값 중 하나이고 두 값이 모두 등장한다고 정의하자. 독립적으로 읽은 값의 종류 수는 2다. 메타데이터도 2이면 이 대조는 통과하지만 50이면 실패한다. ENUM 정의에 나머지 선택지가 있다는 이유로 실패를 면제하지 않는다. 새 값이 실제 입력에 추가되면 그 파일의 기대 기준도 다시 계산해야 한다. [1, 3]
Truthound를 연결하는 방법
Truthound Core의 DistinctCountValidator는 디코딩한 값 열의 실제 distinct 개수를 확인하는 데 연결할 수 있다. footer 값 추출과 파일 읽기는 별도 도구가 맡고, 두 결과의 범위를 맞춘 감사 기록을 남긴다. Truthound가 Parquet writer의 footer를 고치는 것은 아니다. 통계를 사용할 수 없는 동안에는 직접 집계 비용을 감수할지, 영향을 받은 파일의 활용을 보류할지 선택해야 한다. [1, 2, 3]
적용 조건
같은 파일의 row_group_id에 metadata_ndv와 독립 디코딩한 decoded_ndv를 연결한다. ENUM 정의 크기는 별도 항목으로 둔다.
대안
Parquet footer의 NDV를 쓰지 않고 디코딩한 값에서 distinct를 직접 계산한다.
한계
Truthound는 Parquet writer의 footer를 고치지 않는다. 메타데이터 추출과 파일 디코딩은 별도 도구가 담당한다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
