Styxis
Company
Knowledge

Polars rolling slice의 distinct 오류: 정렬 플래그와 실제 값 분리

가변 offset으로 선택한 값은 원래 열의 정렬 보장을 물려받을 수 없다.

행 선택 뒤 달라진 순서

윈도별 위치 선택은 원본의 전역 정렬 보장을 끊는다. distinct 지표는 선택 후 값으로 다시 확인해야 한다. 품질 보고서가 이 distinct 수를 사용한다면 원시 값이 정상이어도 집계 지표가 잘못될 수 있다. Truthound에 넘길 대조 입력도 문제의 정렬 메타데이터와 분리해서 만들어야 한다. [1, 2, 3]

다섯 값의 실제 집합

공개 재현에서 rolling slice는 [1, 2, 1, 3, 3]을 내보낸다. 보고된 sort 결과는 이 순서를 그대로 유지하고 n_unique는 4를 반환하지만, 값의 집합은 {1, 2, 3}이다. 보고는 일정 offset의 대조 경로와 가변 offset의 차이를 정렬 플래그 보존 문제와 연결한다. [1]

독립 대조를 구성하는 방법

각 윈도의 선택 위치와 출력 값을 남기고 독립 집합 계산으로 distinct 지표를 대조한다. 일정 offset 대조군과 가변 offset 대조군을 나란히 둔다. 검사 입력은 같은 Series 객체를 다시 넘기는 방식보다 물질화한 값에서 새로 구성한다. 윈도 경계와 선택 위치를 남겨야 선택 로직의 오류와 지표 계산의 오류를 구별할 수 있다. [1, 3]

기대 distinct 수는 출력 지표에서 가져오지 않는다

설명용 값 목록을 [1, 2, 1, 3, 3]으로 고정하면 세 개의 서로 다른 값이 있으므로 기대값은 3이다. 보고된 cardinality가 3이면 정상이고 4이면 실패다. Truthound Core의 DistinctCountValidator로 독립적으로 구성한 값 열에 기대 개수 3을 적용할 수 있다. 다만 영향을 받은 정렬 플래그를 그대로 재사용하면 두 계산이 함께 틀릴 수 있으므로, 검증 경로의 독립성을 먼저 확인한다. [1, 2, 3]

적용 조건

window_end, selected_offset, emitted_value와 독립 cardinality 표를 원본 또는 독립 대조 경로에서 준비하고 관측 대상과 동일한 실행·파일·키 범위로 연결한다.

대안

값을 새 Series로 재구성해 정렬 메타데이터와 독립적인 distinct 대조를 만든다.

한계

  • 동일한 영향을 받는 정렬 플래그를 가진 Series를 그대로 재사용하면 독립 검사가 아니다.

근거

사건 확인일
대상 확인일
수정일