NULL struct와 자식 NULL을 중복으로 지우기 전의 작은 실험
부모가 없는 값과 자식이 비어 있는 값을 구분하는 정책을 먼저 정한다. 전체 고유값 수와 행별 판정도 따로 본다.
같아 보이는 결측의 다른 구조
부모 validity와 자식 결측을 구분하는 동등성 정책을 정하고 행별 uniqueness 판정을 독립 값 분류와 대조해야 한다. 보이지 않는 값이라는 공통점만으로 두 상태를 합치면 원래 관측의 구조가 사라진다. 중복 제거는 어떤 동등성을 약속했는지부터 확인한다. 원래 구조에서 독립 계산한 unique 플래그를 Truthound에 제공해야 행별 판단을 대사할 수 있다. [1, 2, 3]
같은 입력에서 다른 uniqueness 경로
Polars #30599는 null struct와 {a:null}가 is_unique에서 같은 값으로 취급되지만 n_unique 등은 구분하는 차이를 보고한다. 보고는 같은 Series의 n_unique와 행별 is_unique가 다른 판단을 보인 대조를 포함한다. 이 글은 nested equality의 유일한 업무 정책을 정하지 않는다. [1]
삭제 전에 원래 구조를 남긴다
실험 담당자는 struct 부모 상태와 자식 값을 보존하고 승인 동등성으로 중복 여부를 별도 계산한다. 다른 행이 중복으로 표시되면 삭제하지 않고 원시 상태를 유지한다. 부모 validity를 평탄화 전에 추출하고 업무가 두 상태를 구분하는지 명시한다. 행 ID와 원래 구조를 보존한다. [1, 3]
세 값이 각각 한 번인 기준
설명용 세 값은 {a:null}, null, {a:1}이다. 부모 부재와 자식 결측을 다른 값으로 정의하므로 각 값은 한 번씩 있고 첫 행의 기대 unique는 true다. 첫 행의 실제 unique가 true이면 독립 기준 true와 같아 통과한다. false면 중복이 아닌 값을 중복으로 표시하므로 실패한다. 전체 고유값 수가 3이라는 기록만으로 이 행별 판정을 대신하지 않는다. [1, 3]
플래그 대사가 동등성 구현은 아니다
Truthound Python SDK 3.3.2의 ColumnPairValidator는 운영자가 원래 구조에서 계산한 reference_unique_flag와 실제 actual_unique_flag를 같은 row_id로 대사한다. 부모 validity는 변환 전에 추출한다. Core는 외부에서 분류한 uniqueness 플래그를 비교하며 Polars의 nested equality를 고치지 않는다. count 3만으로 행별 판정을 입증하지 못한다. [1, 2, 3]
부모 상태를 명시하는 대안
검증한 다른 uniqueness 경로를 비교하거나 부모 상태를 별도 열로 보존한 명시 키를 만든다. 같은 연산·자료형·실행 엔진에서 row_id, actual_unique_flag, reference_unique_flag 표의 계약을 이미 회귀 시험하면 중복 대사의 이점은 작다. [1, 3]
적용 조건
부모 validity를 평탄화 전에 추출하고 업무가 두 상태를 구분하는지 명시한다. 행 ID와 원래 구조를 보존한다.
대안
검증한 다른 uniqueness 경로를 비교하거나 부모 상태를 별도 열로 보존한 명시 키를 만든다.
한계
Core는 외부에서 분류한 uniqueness 플래그를 비교하며 Polars의 nested equality를 고치지 않는다. count 3만으로 행별 판정을 입증하지 못한다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
