Styxis
Company
Knowledge

Polars mixed-key full join: 두 행이 남아도 고객 키와 payload를 다시 대사하기

동일 행 수는 키와 payload 보존을 입증하지 않으므로 full join의 승인 키·출처 값으로 결과를 대사해야 한다.

개수 뒤에 사라지는 정체성

동일 행 수는 키와 payload 보존을 입증하지 않으므로 full join의 승인 키·출처 값으로 결과를 대사해야 한다. Truthound에 넘길 기대키는 출력의 0에서 만들지 않고 양쪽 원표의 계보에서 만든다. 같은 행 수를 보존해도 고객 식별자와 값의 결합은 사라질 수 있다. [1, 2, 3]

엔진 대조와 수정 계획

Polars #29903은 Int32·Int64 키 full join coalesce 뒤 unique가 streaming에서 두 0키와 빈 문자열을 내고 in-memory 대조는 올바른 예를 보고한다. 후속 댓글은 main의 잘못된 streaming 결과를 재현하고 수정 계획을 밝혔다. 계획·PR과 배포 완료를 구별하고 in-memory 대조를 모든 쿼리의 보증으로 쓰지 않는다. [1]

원표에서 기대 결과 만들기

팀 담당자는 양쪽 원키와 dtype·payload 출처를 남기고 key별 승인 결과를 독립 구성한다. 0키·빈 문자열로 바뀐 결과는 사용하지 않고 명시 공통 키 dtype와 검증된 엔진을 비교한다. 같은 snapshot의 원키를 손실 없이 추출하고 공통 dtype·중복 정책을 정한다. payload 출처와 null을 함께 남겨 key 한 개의 비교가 전체 join 검증이 되지 않게 한다. [1, 3]

A의 key 2가 남아야 한다

설명용 왼쪽 키는 [2,1], 오른쪽 키는 [1]이다. 왼쪽 row A가 보존해야 할 coalesced 키는 원래 2이므로 실제 2는 통과하고 어느 원키도 아닌 0은 실패한다. 결과는 여전히 두 행일 수 있으므로 행 수만으로 승인하지 말고 payload·누락·중복도 별도로 대사한다. [1, 3]

key 대응의 제한된 검사

Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 approved_coalesced_key와 actual_coalesced_key를 relationship="=="로 비교한다. 운영자가 손실 없는 원키 대응을 준비한다. SDK는 streaming join schema를 고치지 않으며 한 key 통과가 payload·누락·중복 전체를 증명하지 않는다. [1, 2, 3]

payload까지 다시 읽기

명시 공통 key dtype나 검증한 in-memory 경로의 비용을 평가하고 payload까지 다시 읽는다. 동일한 join·unique 조건이 이미 검증됐다면 근거를 재사용한다. 0키를 원래 고객값으로 추정해 채우는 대신 원표의 식별자로 재구성한다. [1, 3]

적용 조건

동일 snapshot의 원키를 손실 없이 추출하고 Int32·Int64의 승인 공통형과 조인 중복 정책을 정한다.

대안

명시 공통 키 dtype 또는 검증한 in-memory 경로를 비용과 함께 시험하고 payload까지 대사한다.

한계

  • 한 키 통과는 payload·누락·중복 전체를 입증하지 않는다. Core는 준비한 키 대응을 비교하며 streaming join schema를 고치지 않는다.

근거

사건 확인일
대상 확인일
수정일