Arrow에서 pandas로: list 내부 타입의 변환 지원 검사
top-level 변환 성공이 같은 타입의 list 원소까지 지원된다는 뜻은 아니다.
중첩 위치가 지원 범위를 바꾼다
변환 지원 표는 기본 타입 이름뿐 아니라 중첩 위치까지 포함해야 한다. string_view라는 타입 이름 하나만 inventory에 기록하면 평탄 열과 list 원소가 같은 경로를 지나는 것처럼 보인다. 전송 경계에서는 자료형과 중첩 경로를 한 쌍으로 관리하는 편이 안전하다. [1, 2, 3]
list 원소에서만 거절된 타입들
Arrow main 보고는 list 안의 string_view, binary_view, decimal32, decimal64, fixed_size_binary가 pandas 변환에서 거절되는 예를 든다. 평탄한 동일 타입이나 list 안의 string·binary·decimal128 대조는 성공했다고 설명한다. 새로 확인된 타입군의 지원 범위는 기존 fixed_size_binary 보고와 함께 검토해야 한다. [1]
동등 표현으로 옮길 때 보존할 것
중첩 경로별 값 타입을 inventory로 만들고 지원되는 동등 표현으로 명시적으로 정규화한 뒤 원소·NULL 구조를 대조한다. 원래 원소 타입, 승인한 전송 타입, list 길이와 부모·원소 NULL 상태를 함께 남긴다. Decimal 표현을 넓혔다는 이유만으로 scale이나 값이 보존됐다고 가정하지 않는다. [1, 3]
허용 타입 검사는 전송 준비 단계다
설명용 경로는 list 원소를 string으로 정규화해 전송한다고 정한다. 정규화 후 타입 string은 정상이며 string_view가 남아 있으면 이 경로에서는 실패다. Truthound Core의 InSetValidator로 준비한 타입 inventory의 승인 집합을 검사할 수 있다. 실제 변환이 원소와 NULL 구조를 보존했는지는 별도 대조가 필요하며, 검증기가 Arrow의 pandas 변환기 지원 목록을 확장하지는 않는다. [1, 2, 3]
적용 조건
nested_path, source_value_type, approved_transport_type와 변환 결과 표를 원본 또는 독립 대조 경로에서 준비하고 관측 대상과 동일한 실행·파일·키 범위로 연결한다.
대안
지원되는 넓은 값 타입으로 중첩 값을 정규화하고 scale·NULL 보존을 대조한다.
한계
넓은 decimal 타입으로 바꾼다는 이유만으로 scale 보존이 자동 보장되지는 않는다. 원문의 fixed_size_binary 과거 이슈와 새 타입 확장을 구분한다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
