Styxis
Company
Knowledge

Dask NaN divisions를 조사할 때 정상 경계 키의 보존부터 확인하기

결측 키의 조인 의미와 정상 키가 사라지는 문제는 별도로 판단한다.

Dask NaN divisions를 조사할 때 정상 경계 키의 보존부터 확인하기

결측 키 처리 방침이 있어도 정상 키의 보존은 독립적으로 검사해야 한다. NaN끼리 연결하지 않는 정책은 값이 있는 경계 키를 누락시킬 이유가 아니다. 두 현상을 한꺼번에 결측 처리라고 부르면 필요한 재수집 범위를 잘못 판단할 수 있다. [1, 2, 3]

보고의 범위와 전제

Dask 이슈 12653은 NaN을 포함한 float index의 divisions가 join·merge·repartition을 거치며 정상 범위 행이나 매칭값까지 잃는 경우를 보고한다. 작성자는 NaN 행의 연결 정책과 정상 키 손실을 구별한다. 따라서 이 사례를 모든 결측 키를 같은 실체로 조인하라는 지침으로 읽으면 안 된다. [1]

입력에서 확인할 관계

NaN 행과 정상 경계 키를 함께 넣고 정상 키의 존재·매칭값을 원본과 대사한 뒤 결측 키 정책을 별도로 확인한다. 요청 범위의 양 끝 포함 여부와 실제 divisions를 기록한다. 키가 존재한다는 검사와 오른쪽 값이 올바르게 연결됐다는 검사도 나누어야 일부 열만 잃은 경우를 설명할 수 있다. [1, 3]

승인 기준을 정하는 작은 사례

설명용 요청 범위에 정상 키 1부터 4까지가 포함된다고 정한다. 별도 NaN 행이 있어도 키 4는 결과에 남아야 한다. 4가 존재하면 해당 키 보존은 통과하지만 사라지면 실패다. 범위가 원래 4를 제외했다면 같은 부재가 오류 증거는 아니므로 독립 요청 계약을 먼저 확인한다. [1, 3]

Truthound 검사에 넘길 경계

Truthound Core 3.3.2의 ReferentialIntegrityValidator로 기대 정상 키를 실제 결과의 참조 키 집합과 대조하면 누락 키를 드러낼 수 있다. 검사 방향을 반대로 두면 결과에 없는 기대 키를 찾지 못한다. 결측 index를 별도 경로로 처리하는 대안과 정상 키 재분할을 다시 시험하되, 검증기가 Dask 조인을 복구하거나 누락값을 추정하지는 않는다. [1, 2, 3]

적용 조건

원천의 정상 키 목록을 검사 대상에 두고 실제 출력 키 집합을 참조하여 누락을 확인한다.

대안

결측 index 행을 별도 경로로 처리하고 정상 키의 재분할 보존을 확인한다.

한계

  • NaN끼리 조인해야 하는지의 업무 의미는 별도이며 모든 결측 키를 같은 실체로 묶지 않는다.

근거

사건 확인일
대상 확인일
수정일