Polars 리터럴 비교의 길이 오류: 행별 마스크 계약을 확인하기
수학적으로 같은 비교라도 표현식 경로가 스칼라와 행별 결과를 다르게 다룰 수 있으므로 물질화 경계를 점검한다.
값의 동치와 결과 길이는 별개다
스칼라 표현식과 행별 필터 마스크의 길이 계약을 구분해야 한다. 조건이 모든 행에서 같다고 해서 행별 결과를 요구한 자리에 단일 원소를 보내도 된다는 뜻은 아니다. 어떤 경계에서 broadcasting을 수행하기로 했는지 명시해야 오류 처리도 일관된다. [1, 2, 3]
리터럴이 왼쪽에 있는 비교의 보고
Polars 이슈 30518은 리터럴로 만든 열과 비교할 때 리터럴의 위치에 따라 결과 길이가 달라지는 사례를 제시한다. 같은 값의 목록에서 만든 열과 streaming 경로 등의 대조도 포함한다. 원문은 데이터 분기에 따라 한 배치에서 성공하고 다른 배치에서 실패할 수 있다고 설명한다. [1]
오류를 첫 값 복사로 덮지 않는다
리터럴 왼쪽·오른쪽 대조군을 실행하고 필터 마스크와 입력의 길이를 기록한다. 오류를 피하려고 첫 판정만 전체 행에 임의 적용하지 않는다. 지원되는 표현식으로 바꾼 뒤에도 원시 행에 대한 판정 의미와 길이가 함께 보존되는지 확인한다. [1, 3]
물질화된 마스크가 3행이어야 할 때
설명용 입력이 3행이며 경계 계약이 행별 마스크를 요구한다면 기대 길이는 3이다. 물질화된 마스크가 3행이면 입력의 각 행에 판정이 대응한다. 길이가 1이면 이 경계가 요구한 행별 결과를 제공하지 못한다. 이는 명시적으로 스칼라 broadcasting을 지원하는 다른 경로까지 금지하는 규칙이 아니다. 실행이 예외로 끝났다면 성공한 마스크가 있다고 기록하지 말고 실패 상태도 인계한다. [1, 3]
Truthound는 길이 감사표에 연결한다
Truthound Core의 ExpressionValidator에 filter_expr로 input_rows와 mask_rows의 관계를 지정할 수 있다. 실제 마스크와 실행 기록에서 두 값을 추출해야 하며 원래 입력 표의 행 수와 한 행짜리 감사표의 행 수를 혼동하지 않는다. 검증기가 표현식 실행 실패를 복구하지는 않는다. 행별 물질화가 보장되는 지원 표현으로 수정한 뒤 다시 대조한다. [1, 2, 3]
적용 조건
같은 expression_form 실행의 input_rows와 실제 물질화한 mask_rows를 감사값으로 기록하고 행별 마스크 계약을 먼저 정한다.
대안
명시적 행별 마스크를 구성하는 지원 표현을 사용한다.
한계
합법적인 스칼라 broadcasting 자체를 오류로 규정하는 검사가 아니다. 실행 실패는 데이터 품질 통과로 대체할 수 없다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
