Beam Reshuffle 뒤 tuple key가 list가 된다면: 값과 컨테이너를 따로 검사하기
tuple의 값 목록과 hashable 컨테이너 계약을 따로 검사해야 한다. schema 경계 뒤 list가 되면 dict key를 요구하는 단계에 그대로 넘기지 않는다.
값만 남기면 사라지는 의무
tuple의 값 목록과 hashable 컨테이너 계약을 따로 검사해야 한다. schema 경계 뒤 list가 되면 dict key를 요구하는 단계에 그대로 넘기지 않는다. Truthound 입력으로 바꾸기 전에 Python 객체의 종류를 추출해야 이 차이가 남는다. 값 a와 b만 평탄화하면 hashability 의무를 볼 수 없다. [1, 2, 3]
대안이 남아 있는 schema 경계
Beam #40079는 Python RowCoder 경계 뒤 typed tuple이 list가 되어 hash key 사용이 실패하고 heterogeneous tuple은 다른 encode 오류를 낸다고 보고한다. 댓글은 portable schema 내 대안의 tradeoff를 논의한다. 현재 portable schema 안에서 tuple을 Any로 돌리는 대안과 logical type을 두는 대안은 각각 tradeoff가 있다고 댓글이 설명한다. 하나를 이미 채택한 수정으로 말하지 않는다. [1]
hint를 바꾼 대조 시험
typed·Any 경로에 같은 입력을 보내고 serialization 뒤 컨테이너 종류를 기록해, 승인되지 않은 list key 경로를 차단한다. 같은 값에서 hint와 직렬화 경계만 바꾸고 container kind를 객체가 살아 있을 때 기록한다. 원소 순서와 값은 별도 대사한다. [1, 3]
a,b의 같은 값과 다른 종류
설명용 key (a,b)는 immutable tuple을 요구한다. readback 종류 tuple은 조건을 충족하지만 같은 값의 list는 hashable key 계약을 충족하지 못한다. 같은 a,b를 담아도 list는 이 key 계약에서 실패다. 반대로 후속 단계가 sequence만 요구하면 tuple 강제는 과도하다. [1, 3]
종류 표를 비교하는 SDK
Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 required_key_container_kind와 decoded_container_kind를 relationship="=="로 비교한다. 준비된 종류 문자열의 일치를 볼 뿐 Polars 표에서 원래 Python 객체 정체성을 복구하지 않는다. Beam schema와 coder 변경 및 실제 hash-key 시험은 별도다. [1, 2, 3]
두 오류를 다른 조건으로
명시적 key 직렬화나 tuple logical type을 검토하고 Any 우회가 다른 SDK와 교환될 때의 비용을 시험한다. heterogeneous tuple을 homogeneous array로 읽는 오류는 별도의 원소별 타입 대조가 필요하다. 컨테이너 검사 한 번으로 두 문제를 해결했다고 안내하지 않는다. [1, 3]
적용 조건
컨테이너 종류를 Python 객체가 살아 있을 때 추출하고 원소값 검사를 별도로 유지한다.
대안
명시적 key 직렬화나 논리 타입을 검토하고 Any 우회의 portability 비용을 별도 시험한다.
한계
Truthound는 Beam portable schema나 coder를 바꾸지 않는다. Polars 표로 바꾼 뒤 원래 Python tuple 정체성이 자동 보존된다고 가정하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
