Polars is_in pushdown: NULL과 음의 0에서 필터 의미가 달라질 때
백엔드 간 필터 동치를 확인할 때 값 목록만이 아니라 원시 행별 포함 여부를 비교한다.
평범한 숫자만으로는 동치를 말할 수 없다
집합 필터의 동치는 일반 값뿐 아니라 NULL과 부호 있는 0의 판정표까지 포함한다. 작은 숫자 표본에서 같은 결과가 나와도 결측의 부정 연산이나 음의 0 처리에서 선택 행이 달라질 수 있다. [1, 2, 3]
PyArrow Dataset 경계의 차이
Polars 이슈 30531은 PyArrow Dataset으로 내려간 is_in이 NULL과 부호 있는 0을 메모리 경로와 다르게 다루는 사례를 보고한다. 부정 필터에 NULL 행이 남고 양의 0 집합이 음의 0을 선택하지 않는 대조가 제시된다. 원문은 scan_parquet와 메모리 표를 영향받지 않는 대조 경로로 구분한다. [1]
필터 결과를 원시 행에 다시 연결한다
NULL, 양의 0, 음의 0을 구분한 작은 입력을 만들고 각 원시 행의 포함 여부를 승인된 메모리 의미와 비교한다. NULL은 비교 열의 결측으로 방치하지 말고 원시 상태를 나타내는 별도 분류로 보존한다. 선택되지 않은 행도 대조표에 있어야 누락을 확인할 수 있다. [1, 3]
음의 0이 선택되어야 하는 사례
설명용으로 승인한 의미가 양의 0과 음의 0을 같게 다루도록 정한다. 양의 0을 포함한 집합에 대한 음의 0 행의 기대 keep은 true다. 음의 0 행의 실제 keep이 true이면 선택한 동등성 정책을 따른다. false이면 양의 0과 같게 취급해야 할 행을 필터가 제외한 것이다. NULL의 부정 필터 기대는 별도의 판정표로 다루며 이 한 사례의 true를 모든 결측 행에 복사하지 않는다. [1, 3]
Truthound는 승인된 판정표를 비교한다
Truthound Core의 ColumnPairValidator로 원시 행 ID에 연결한 expected_keep과 observed_keep을 대조할 수 있다. 두 열은 명시적인 비결측 Boolean이어야 하며 어떤 NULL 의미를 채택할지는 운영자가 정한다. 검증기가 pushdown을 수정하지는 않는다. 대체 scan 경로를 고르더라도 동일 파일과 판정표로 다시 확인한다. [1, 2, 3]
적용 조건
같은 원시 행의 input_state·pushdown_kept·policy_kept를 명시적 비결측 상태로 기록하고 NULL·signed zero 정책을 따로 승인한다.
대안
해당 범위를 물질화한 뒤 승인된 메모리 필터로 처리한다.
한계
Truthound가 어떤 NULL 의미를 선택해야 하는지 결정하지 않는다. Polars의 다른 scan 경로에도 동일 오류가 있다고 주장하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
