Styxis
Company
Knowledge

Dask isin의 문자열·정수 코드: 표시값이 같아도 선택 대상을 구별하기

mixed object 열의 필터는 원래 타입과 값의 조합으로 대조해야 한다.

Dask isin의 문자열·정수 코드: 표시값이 같아도 선택 대상을 구별하기

현장 필터의 기준은 표시 문자열이 아니라 원래 타입과 값의 조합이어야 한다. 문자열 코드와 수치 코드가 서로 다른 대상을 뜻하는 업무에서 둘을 같은 값으로 읽으면 포함 여부가 뒤집힐 수 있다. 화면에 같은 숫자가 보인다는 이유로 원천 타입을 버리지 않는다. [1, 2, 3]

보고의 범위와 전제

Dask 이슈 12612는 mixed object 열의 isin이 pandas와 다르게 문자열 needle로 정수 행을 선택하는 예를 보고한다. 작성자는 문자열 변환 가능성을 제시하지만 내부 변환 경로를 확정하지는 않았다. 특정 예의 차이를 모든 object 열의 확정 원인으로 확대하지 않는다. [1]

입력에서 확인할 관계

원시 타입을 보존한 멤버십 truth table을 만들고 문자열·정수 needle에 대한 선택 행 ID를 각각 비교한다. 입력 변환 전 타입 태그와 값을 함께 저장해야 필터 앞에서 이미 구분이 사라졌는지 알 수 있다. 비교 기준의 dtype도 동일하게 기록한다. [1, 3]

승인 기준을 정하는 작은 사례

설명용 계약은 문자열 '1'과 정수 1을 별개 코드로 취급한다. 문자열 needle로 정수 행을 선택하지 않은 false가 정상이다. true이면 다른 대상을 섞은 반례다. 업무가 두 코드를 같은 실체로 정규화하도록 승인했다면 그 정책에 맞는 기대값을 따로 정의해야 한다. [1, 3]

Truthound 검사에 넘길 경계

Truthound Core 3.3.2의 ColumnPairValidator는 독립된 타입별 기대 선택과 실제 selected 값을 비교할 수 있다. 검사 표를 만드는 과정에서 타입 구분을 먼저 보존해야 하며, 제품이 Dask의 변환 원인을 판정하지는 않는다. 명시 타입 수집이나 타입 태그를 사용하는 대안을 적용한 뒤 같은 needle 쌍으로 다시 비교한다. [1, 2, 3]

적용 조건

원시 값과 타입 태그를 함께 보존하고 membership 기준을 출력과 독립적으로 정한다.

대안

수집 시 타입을 명시하고 구분이 필요한 코드는 타입 태그와 값을 함께 저장한다.

한계

  • 모든 object 열의 동작이나 내부 변환 원인을 이 신고만으로 확정하지 않는다.

근거

사건 확인일
대상 확인일
수정일