Styxis
Company
Knowledge

Polars left join_where 뒤 열 선택: 이름이 맞아도 출처 필드가 바뀔 수 있다

필드별 표식 값과 전체 스키마를 함께 비교하면 그럴듯한 이름 아래 다른 열이 들어온 경우를 구별할 수 있다.

열 이름만으로 출처를 승인하지 않는다

열 이름과 타입이 그럴듯해도 join projection은 원본 필드의 정체성을 보존해야 한다. 같은 정수형 열이 여러 개면 이름이 맞고 값 범위도 비슷한데 다른 열의 값을 전달하는 일이 가능하다. 검증 기준에 요청한 필드와 실제 값의 관계가 필요하다. [1, 2, 3]

전체 결과와 일부 선택 결과의 차이

Polars 이슈 30519는 lazy left join_where 뒤 일부 열을 선택하면 다른 오른쪽 열의 값을 읽거나 불필요한 열을 남기는 경우를 보고한다. 원문은 전체 collect와 일부 최적화 비활성 대조, eager 및 inner 경로를 구분한다. 이 대조는 문제 범위를 좁히는 단서이며 모든 조인 방식의 안전성을 대신 증명하지 않는다. [1]

필드마다 구별 가능한 표식을 넣는다

오른쪽 열마다 서로 다른 표식 값을 넣은 대조군을 사용하고 선택 열의 출처와 출력 스키마를 확인한다. 실데이터에서 우연히 값이 같으면 열 치환을 감출 수 있으므로 시험 입력은 의도적으로 구별 가능하게 구성한다. 실제 운영 대사에서는 원본 키와 선택 필드의 계보도 남긴다. [1, 3]

right_b를 요청한 결과의 기대

설명용으로 요청 필드의 표식을 right_b로 정의한다. 관측 표식도 right_b이면 해당 필드 대응은 통과한다. right_a이면 같은 타입이어도 다른 출처이므로 실패다. 값 대응과 별도로 요청하지 않은 열이 추가됐는지 확인한다. 하나의 표식 통과만으로 모든 조인 키와 중복 대응까지 승인하지 않는다. [1, 3]

Truthound로 허용된 필드·값 쌍을 검사한다

Truthound Core의 ColumnPairInSetValidator에 요청 필드와 승인된 표식의 쌍을 지정해 준비된 결과 표를 검사할 수 있다. 이 허용 쌍은 원천 정의에서 만들어야 하며 관측한 오출력을 그대로 등록하면 검사의 의미가 없다. 검증기는 projection optimizer를 바꾸지 않는다. 대체 실행 경로를 선택한 뒤 스키마와 실제 값의 출처를 함께 재검증한다. [1, 2, 3]

적용 조건

같은 joined_key·requested_field에 독립 expected_marker와 observed_marker를 연결하고 필드별 표식을 서로 구별되게 준비한다.

대안

전체 join을 물질화하고 열 출처를 확인한 뒤 projection한다.

한계

  • 실제 데이터에 우연히 같은 값이 있으면 단순 값 비교로 열 치환을 알아낼 수 없다. Truthound는 projection optimizer를 바꾸지 않는다.

근거

사건 확인일
대상 확인일
수정일