Polars Map 중복 키: 조회와 사전 변환의 승자가 다를 때
Map을 읽는 방법에 따라 값이 바뀌지 않도록 부모 행 안의 키 유일성과 중복 처리 정책을 먼저 정한다.
값을 고르기 전에 중복의 단위를 정한다
Map을 사전으로 바꾸기 전에 한 행 내부의 키 중복과 승자 선택 정책을 확정해야 한다. 서로 다른 부모 행에서 같은 키를 쓰는 것은 자연스럽지만, 같은 행의 같은 키에 여러 값이 있으면 어떤 연산을 선택했는지에 따라 결과가 달라질 수 있다. [1, 2, 3]
같은 입력에서 다른 값을 반환한 보고
Polars 이슈 30595는 Arrow에서 가져온 Map에 반복 키가 남아 get과 Python 객체 변환이 서로 다른 값을 고르는 경우를 제시한다. 원문은 Map 항목 수와 재구성 후 결과도 비교한다. 이는 해당 반입 경로의 보고이며 Python 사전이 원래 여러 값을 유지하는 구조라는 뜻은 아니다. [1]
부모와 키를 함께 인수한다
부모 행 식별자를 유지하며 Map 항목을 펼치고 부모·키 복합 중복을 검사한다. 중복 발견 시 첫 값 또는 마지막 값 선택을 암묵적 변환에 맡기지 않는다. 반복을 허용하는 업무라면 항목 순서도 보존하고 승인된 병합 규칙으로 별도 결과를 만든다. [1, 3]
항목 1개라는 기대를 어디에 적용할까
설명용으로 부모 P의 키 x는 값 하나만 가져야 한다고 정한다. P·x 조합이 1개면 정상이다. 같은 조합이 2개면 값이 같더라도 유일성 조건은 실패한다. 다른 부모 Q의 x는 P의 중복으로 세지 않는다. 이 사례는 순서 기반 병합을 실행한 결과가 아니라 어느 입력을 병합 검토로 보낼지 정한 계약이다. [1, 3]
Truthound는 펼친 항목 표를 검사한다
Truthound Core의 MultiColumnUniqueValidator로 부모 ID와 Map 키를 묶은 유일성을 검사할 수 있다. 원래 Map을 자동으로 해석한다고 가정하지 않고 항목 표를 먼저 준비해야 한다. 이 검사가 get이나 Python 변환의 승자를 바꾸지는 않는다. 중복이 의도된 입력은 항목 목록으로 유지하며 명시적 승자 정책을 적용한 뒤 소비자에게 전달한다. [1, 2, 3]
적용 조건
같은 원본 Map의 parent_id·map_key·entry_position·entry_value를 항목별로 펼치고 부모별 중복 정책을 먼저 정한다.
대안
반복 키를 허용할 때는 Map을 항목 목록으로 유지하고 명시적 승자 선택을 적용한다.
한계
Truthound의 행 중복 검사가 Map의 get 또는 Python 변환 의미를 바꾸지는 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
