Styxis
Company
Knowledge

Dask map의 meta와 실제 dtype이 다를 때: 미매칭 키를 포함한 검사

lookup이 결측을 만들 수 있다면 meta 선언과 실제 계산 결과의 타입을 따로 확인해야 한다.

Dask map의 meta와 실제 dtype이 다를 때: 미매칭 키를 포함한 검사

meta에 원하는 타입을 적었다고 모든 partition이 그 타입으로 계산되는 것은 아니다. 특히 매핑에 없는 키가 들어오면 정수 결과에도 결측을 표현할 방법이 필요하다. 매칭되는 입력만으로 시험하면 선언과 실제 결과의 차이가 드러나는 중요한 조건을 놓칠 수 있다. [1, 2, 3]

보고의 범위와 전제

Dask 공개 보고는 Series를 매핑 인자로 전달한 map에서 제공한 meta와 결과 dtype이 다르거나 계산이 실패하는 여러 경우를 다룬다. 원문은 결측을 담지 못하는 정수 타입과 Index의 제한도 구별한다. 따라서 모든 실패를 하나의 타입 변환 결함으로 묶기보다 입력 종류와 결측 조건을 나누어 읽어야 한다. [1]

입력에서 확인할 관계

매핑에 있는 키와 없는 키를 함께 넣은 작은 입력을 만든다. 선언 dtype, 실제 partition 결과, 최종 계산 결과를 차례로 확인하고 미매칭 값이 유지되는지도 본다. 타입 이름을 적은 감사 표는 비교 기록으로 유용하지만 최종 승인에는 실제 결과 열을 사용해야 한다. [1, 3]

승인 기준을 정하는 작은 사례

설명용 lookup에는 A만 있고 입력에는 A와 B가 있다. B의 미매칭을 보존하기로 했으므로 승인한 논리 타입은 nullable_int이며 nonnullable_int로의 변경은 통과시키지 않는다. 이 이름들은 설명용 정규화다. 실제 구현에서는 선택한 런타임과 검증기가 지원하는 dtype 표현으로 조건을 옮겨야 한다. [1, 3]

Truthound 검사에 넘길 경계

Truthound Core의 ColumnTypeValidator에는 실제 계산된 lookup 결과 열과 지원되는 기대 dtype을 전달한다. nullable_int라는 문자열을 담은 감사 열을 검사하는 방식으로 대체해서는 안 된다. 이 구성요소는 타입 조건을 확인하며 매핑의 의미나 값 정확성을 보장하지 않으므로 미매칭 정책과 결과 값도 별도로 대사한다. [1, 2, 3]

적용 조건

실제 계산된 lookup 결과 열과 지원되는 expected_types를 준비한다. nullable_int 같은 감사 문자열은 실제 dtype 검사를 대신하지 않는다.

대안

결측 정책을 명시하고 lookup 전후 타입과 값 검사를 별도로 둔다.

한계

  • 논리 타입 표기는 설명용 정규화이며 실제 Core 검사에는 지원되는 실제 dtype을 넘겨야 한다.

근거

사건 확인일
대상 확인일
수정일