Dask NaN divisions를 조사할 때 정상 경계 키의 보존부터 확인하기
결측 키의 조인 의미와 정상 키가 사라지는 문제는 별도로 판단한다.
Dask NaN divisions를 조사할 때 정상 경계 키의 보존부터 확인하기
결측 키 처리 방침이 있어도 정상 키의 보존은 독립적으로 검사해야 한다. NaN끼리 연결하지 않는 정책은 값이 있는 경계 키를 누락시킬 이유가 아니다. 두 현상을 한꺼번에 결측 처리라고 부르면 필요한 재수집 범위를 잘못 판단할 수 있다. [1, 2, 3]
보고의 범위와 전제
Dask 이슈 12653은 NaN을 포함한 float index의 divisions가 join·merge·repartition을 거치며 정상 범위 행이나 매칭값까지 잃는 경우를 보고한다. 작성자는 NaN 행의 연결 정책과 정상 키 손실을 구별한다. 따라서 이 사례를 모든 결측 키를 같은 실체로 조인하라는 지침으로 읽으면 안 된다. [1]
입력에서 확인할 관계
NaN 행과 정상 경계 키를 함께 넣고 정상 키의 존재·매칭값을 원본과 대사한 뒤 결측 키 정책을 별도로 확인한다. 요청 범위의 양 끝 포함 여부와 실제 divisions를 기록한다. 키가 존재한다는 검사와 오른쪽 값이 올바르게 연결됐다는 검사도 나누어야 일부 열만 잃은 경우를 설명할 수 있다. [1, 3]
승인 기준을 정하는 작은 사례
설명용 요청 범위에 정상 키 1부터 4까지가 포함된다고 정한다. 별도 NaN 행이 있어도 키 4는 결과에 남아야 한다. 4가 존재하면 해당 키 보존은 통과하지만 사라지면 실패다. 범위가 원래 4를 제외했다면 같은 부재가 오류 증거는 아니므로 독립 요청 계약을 먼저 확인한다. [1, 3]
Truthound 검사에 넘길 경계
Truthound Core 3.3.2의 ReferentialIntegrityValidator로 기대 정상 키를 실제 결과의 참조 키 집합과 대조하면 누락 키를 드러낼 수 있다. 검사 방향을 반대로 두면 결과에 없는 기대 키를 찾지 못한다. 결측 index를 별도 경로로 처리하는 대안과 정상 키 재분할을 다시 시험하되, 검증기가 Dask 조인을 복구하거나 누락값을 추정하지는 않는다. [1, 2, 3]
적용 조건
원천의 정상 키 목록을 검사 대상에 두고 실제 출력 키 집합을 참조하여 누락을 확인한다.
대안
결측 index 행을 별도 경로로 처리하고 정상 키의 재분할 보존을 확인한다.
한계
NaN끼리 조인해야 하는지의 업무 의미는 별도이며 모든 결측 키를 같은 실체로 묶지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
