pandas calamine과 pyarrow 혼합 열: 수량과 코드의 타입 정책
혼합 타입을 정제 오류로 단정하기 전에 해당 열이 수량인지 속성값 목록인지 합의해야 한다.
pandas calamine과 pyarrow 혼합 열: 수량과 코드의 타입 정책
Excel 속성 표에 숫자와 코드가 섞인 것은 실제 업무 구조일 수 있다. 정수 변환 오류를 없애려고 코드 값을 결측으로 만들면 적재는 쉬워져도 설명하려던 속성은 사라진다. 열 전체의 외형보다 속성별 용도를 먼저 정해야 보존과 계산을 구별할 수 있다. [1, 2, 3]
공개 원문이 보여 준 범위
calamine으로 읽는 Excel 열에 숫자와 IPECL3 문자열이 함께 있을 때 pyarrow backend가 int64 변환 오류를 낸다는 보고다. 작성자는 거절·문자열 변환 등 여러 정책 가능성을 열어 두었다. [1]
입력과 출력에서 확인할 관계
속성 이름별로 업무 타입을 먼저 정한다. 식별자와 코드가 섞인 속성 표에서는 원래 타입과 텍스트를 함께 남기고, attribute_name에 연결한 expected_text와 preserved_text를 대사한다. 숫자로 변환하는 데 성공했는지가 아니라 그 속성이 뜻하는 정보를 남겼는지를 승인 기준으로 삼는다. [1, 3]
승인 기준과 실패 사례
설명용 type_code 값 IPECL3는 수량이 아니라 코드다. IPECL3를 보존하면 계약을 충족하지만 숫자만 허용하는 변환으로 missing이 되면 의미를 잃는다. 모든 혼합 열을 문자열로 바꾸어야 한다는 규칙은 아니다. 수량 속성과 코드 속성을 분리해 판단해야 코드 보존과 수치 계산 요구를 함께 지킬 수 있다. [1, 3]
Truthound를 연결하는 검사 경계
Truthound Core 3.3.2의 ColumnPairValidator는 속성 이름별로 준비한 원래 코드와 보존 문자열을 비교할 수 있다. 숫자 속성과 코드 속성을 같은 수량 검사로 다루지 않아야 한다. 검사 전에 업무 타입을 정하는 책임은 자료 소유자에게 남는다. 결측 쌍은 건너뛸 수 있으므로 실제 값 비교와 별도로 원천·출력의 값 존재 상태를 명시적인 Boolean 열로 만들어 비교한다. [1, 2, 3]
다른 선택이 필요한 조건
모든 혼합 열을 문자열로 바꾸면 실제 숫자 계산 계약을 깨뜨릴 수 있다. 속성별 타입을 명시한 긴 형식 표로 변환하거나 공급자에게 열 구조 분리를 요청한다. 문자 코드가 원천 입력 오류라고 확인된 수량 열이면 보존 후 정정 요청이 우선이다. [1, 3]
적용 조건
attribute_name, raw_type, preserved_text, expected_text 표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다. 값이 없는 출력도 원본 식별자에 남기고 명시적인 Boolean 존재 상태를 별도로 대사한다.
대안
속성별 타입을 명시한 긴 형식 표로 변환하거나 공급자에게 열 구조 분리를 요청한다.
한계
모든 혼합 열을 문자열로 바꾸면 실제 숫자 계산 계약을 깨뜨릴 수 있다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
