Styxis
Company
Knowledge

Dask 날짜 열 추가 후 정수 열이 float64로 바뀐다면: 변경 범위 검사

날짜 열을 추가하는 작업의 완료 조건에는 기존 열의 타입과 값 보존도 포함된다.

Dask 날짜 열 추가 후 정수 열이 float64로 바뀐다면: 변경 범위 검사

날짜를 파싱한 새 열이 잘 보인다고 할당 작업을 바로 승인하기는 어렵다. 요청하지 않은 정수 열이 부동소수점으로 바뀌었다면 저장 스키마와 후속 연산의 전제가 함께 달라지기 때문이다. 새 열의 내용과 기존 열의 보존을 서로 다른 승인 항목으로 두어야 한다. [1, 2, 3]

보고의 범위와 전제

Dask 공개 보고는 dd.to_datetime 결과를 새 열에 할당했을 때 직접 수정하지 않은 정수 열이 float64로 바뀌는 현상을 제시한다. pandas 날짜 변환을 사용하는 대조에서는 같은 변화가 없다고 설명한다. 이것은 제보자가 제공한 비교이며, 표시된 스키마 차이만으로 실제 값 손실까지 확인된 것은 아니다. [1]

입력에서 확인할 관계

작은 정수 표에서 날짜 열을 추가하기 전의 스키마와 실제 값을 보관한다. 같은 입력으로 날짜 변환과 할당을 수행한 뒤 계산된 결과의 기존 열을 비교한다. 특히 변환 결과의 index가 원본과 맞는지 확인해야 한다. 외부 정렬 때문에 결측이 새로 생긴 경우라면 타입 승격의 이유와 요청 자체를 함께 검토한다. [1, 3]

승인 기준을 정하는 작은 사례

설명용 요청은 b라는 날짜 열만 추가하며 a의 승인 타입은 int64이다. 결과에서 a가 int64를 유지하면 스키마 조건을 충족하지만, float64가 되었다면 별도의 변경 승인 없이는 넘기지 않는다. 이 대조는 값 손실을 입증하는 실험이 아니라 수정하지 않은 열의 계약을 지켰는지 판단하는 작은 사례다. [1, 3]

Truthound 검사에 넘길 경계

Truthound Core의 TableSchemaValidator에는 전후 타입을 적은 감사 표가 아니라 실제 계산된 출력 표와 승인 스키마를 전달한다. 이 구성요소는 a의 타입 보존을 검사하는 데 연결할 수 있으며 할당 그래프나 정렬 원인을 고치지는 않는다. 운영자가 열별 기대 타입을 정의하고, 실제 값의 보존은 추가 대사로 확인해야 한다. [1, 2, 3]

적용 조건

실제 계산된 출력 dataframe과 승인한 expected_schema를 준비한다. 전후 dtype 문자열 표는 감사 기록이며 검사 대상을 대신하지 않는다.

대안

날짜 변환 결과의 index 정합을 확인하고 기존 스키마를 명시한 할당 경로를 시험한다.

한계

  • 스키마 표시 차이가 실제 값 손실을 뜻한다고 단정하지 않으며 계산된 결과도 따로 확인해야 한다.

근거

사건 확인일
대상 확인일
수정일