Styxis
Company
Knowledge

Dask left merge의 혼합 index: 미매칭 행에 오른쪽 ID를 만들지 않기

결과 index의 표시값을 업무 식별자로 쓰기 전에 어느 원천에서 왔는지 확인한다.

Dask left merge의 혼합 index: 미매칭 행에 오른쪽 ID를 만들지 않기

조인 결과의 표시 index를 안정적인 업무 식별자로 곧바로 사용하지 말고 원천 역할을 확인해야 한다. 매칭 행의 오른쪽 index와 미매칭 행의 왼쪽 index가 섞이면 값이 유일해 보여도 같은 종류의 식별자가 아니다. 다음 팀이 그 열로 다시 연결할 때 다른 대상을 가리킬 수 있다. [1, 2, 3]

보고의 범위와 전제

Dask 이슈 12564는 오른쪽 표에 빈 partition이 있을 때 left merge의 일부 미매칭 행이 왼쪽 index를 사용하는 경우를 보고한다. 다른 행들은 오른쪽 index를 쓰는 대조를 제시한다. left join에 미매칭 행이 남는 것 자체를 오류로 보는 보고는 아니다. [1]

입력에서 확인할 관계

왼쪽 업무키와 오른쪽 행 ID를 별도 열로 보존하고 미매칭 행의 오른쪽 ID는 결측으로 남긴 뒤 후속 index를 명시적으로 정한다. 인계 문서에는 표시용 index와 참조용 식별자의 역할을 나누어 적는다. 같은 값이 나타나더라도 원천 열을 추정으로 바꾸지 않는다. [1, 3]

승인 기준을 정하는 작은 사례

설명용 왼쪽 키 C에 대응하는 오른쪽 행이 없으면 기대 오른쪽 ID 상태는 missing이다. 그대로 missing으로 남기면 관계 부재가 보존된다. 왼쪽 C를 오른쪽 ID에 복사하면 존재하지 않는 대응을 만든 것이므로 실패다. missing은 설명용 부재 상태이며 미매칭 행을 삭제하라는 지시가 아니다. [1, 3]

Truthound 검사에 넘길 경계

Truthound Core 3.3.2의 ConditionalExpressionValidator는 match_status에 따라 준비된 right_row_id의 상태가 맞는지 검사할 수 있다. 실제 결측 표현과 문자열 missing을 혼동하지 않게 입력을 정규화한다. 조인 뒤 새 index를 명시하고 양쪽 ID를 값 열로 유지하는 대안을 확인하되, 검증기가 조인 자체나 출처 추적을 대신 수행하지는 않는다. [1, 2, 3]

적용 조건

왼쪽 행 ID·오른쪽 매칭 상태·오른쪽 ID를 분리하고 실제 결측 상태를 조건식에 반영한다.

대안

조인 뒤 명시적인 새 index를 만들고 양쪽 ID를 값 열로 유지한다.

한계

  • 정상적인 left join의 미매칭 행을 삭제하라는 뜻이 아니다.

근거

사건 확인일
대상 확인일
수정일