Styxis
Company
Knowledge

DuckDB NULL 집계가 어긋날 때: 개수 보존식부터 검증하기

NULL 비율을 신뢰하려면 전체·비결측·결측 개수가 같은 입력을 분할하는지 먼저 확인해야 한다.

품질 지표도 검증 대상이다

NULL 품질 지표도 검사 대상이다. 전체 행 수와 비결측 수가 만드는 보존식을 별도로 확인해야 한다. Truthound를 연결할 지점은 데이터베이스 내부가 아니라 이 세 개수를 함께 담은 감사 표다. 결측 비율 숫자 하나만 받아서는 계산 경로의 불일치를 알아낼 수 없다. [1, 2, 3]

같은 열인데 다른 NULL 개수

DuckDB의 공개 보고는 단일 열을 반환하는 C++ table function에서 NULL에 대한 FILTER 집계가 잘못되는 경우를 제시한다. 일반 count와 WHERE 경로, 먼저 물질화한 표는 정상인 대조군으로 설명된다. 따라서 모든 NULL 집계가 실패한다고 넓히기보다 함수 출력 형태와 집계 경로를 함께 남기는 편이 정확하다. [1]

분모와 분자를 같은 배치에서 확보하기

동일 추출의 전체·비결측·결측 개수를 함께 저장하고 합계가 어긋나면 품질 대시보드 갱신을 보류한 뒤 물질화 경로와 비교한다. 실행 식별자와 입력 snapshot도 같이 보관한다. 서로 다른 시점에 계산한 개수를 합치면 동시 적재가 정상적으로 진행된 경우까지 오류처럼 보일 수 있다. [1, 3]

설명용 정상과 반례

전체 99행 중 비결측 99행, 결측 0행으로 정의한 합성 입력은 99+0=99를 만족한다. 같은 입력의 결측 지표가 37이면 분할 합은 136이 되어 전체 99와 맞지 않는다. 136을 새 분모로 채택하면 모순을 숨길 뿐이다. 기대 전체는 입력의 정의에서 가져오며 관측 지표를 복사하지 않는다. [1, 3]

Truthound가 확인하는 경계

Truthound Core의 ExpressionValidator는 준비한 표에서 비결측 수와 결측 수의 합이 전체와 같은지 검사하는 데 쓸 수 있다. 먼저 독립적으로 추출한 값들을 동일 배치에 연결해야 한다. 이 검사가 통과해도 NULL인 개별 행의 위치까지 옳다는 뜻은 아니며, C++ validity mask나 DuckDB 실행기를 수리하지 않는다. 더 세밀한 확인이 필요하면 물질화한 행의 식별자별 NULL 상태를 비교한다. [1, 2, 3]

적용 조건

같은 추출의 total_count, nonnull_count, null_count를 원본 또는 독립 집계에서 확보하고 배치 식별자로 연결한다.

대안

먼저 전체 결과를 물질화하고 WHERE로 같은 NULL 분할을 다시 계산한다.

한계

  • Truthound가 C++ 함수의 validity mask를 수리하지 않으며 보존식 통과만으로 개별 행의 NULL 위치가 맞다고 증명하지 않는다.

근거

사건 확인일
대상 확인일
수정일