DataFusion UNION ALL: 계획 schema와 실제 batch 타입을 따로 검증하기
미리 확인한 schema가 실행 후 수신한 batch의 schema와 같은지 export 경계에서 확인해야 한다.
계획이 곧 출력은 아니다
계획 시 스키마 확인은 실행 결과 스키마 검사를 대신하지 못한다. UNION의 공통 타입이 나중 단계에서 결정된다면 초기 DataFrame.schema를 확인한 소비자는 실제로 다른 타입을 받을 수 있다. Truthound 검사도 실제 batch가 도착한 경계에 배치해야 한다. [1, 2, 3]
analyzer가 선택한 타입
DataFusion 공개 보고는 서로 다른 타입을 가진 UNION ALL에서 초기 schema가 첫 입력 타입을 나타내지만 실행 batch는 TypeCoercion analyzer가 선택한 타입을 가진다고 설명한다. timestamp 단위와 문자열 물리 타입의 예가 제시된다. 열 이름과 값의 표시가 같아도 저장 단위가 달라질 수 있다. [1]
승인 schema의 출처
export 경계에서 실제 batch 스키마를 승인한 목표 스키마와 대조하고, 필요하면 모든 UNION 분기에 같은 명시적 cast를 적용한다. 목표는 초기 계획 문자열이 아니라 목적 시스템과 합의한 schema다. 선언 schema·실행 schema·목표 schema를 나란히 보존하면 어느 단계에서 차이가 생겼는지 설명할 수 있다. [1, 3]
단위만 달라도 실패한다
설명용 export 계약에서 시각 단위를 ns로 정했다면 실제 ns는 통과하고 us는 실패한다. 같은 순간을 표시한다는 이유로 단위 계약을 면제하지 않는다. 변환을 허용하려면 단위 변환과 정밀도 손실 정책을 명시한 뒤 결과를 다시 검증해야 한다. [1, 3]
Truthound가 볼 수 있는 타입
Truthound Core의 TableSchemaValidator는 실제 수신 표의 열과 타입을 승인 schema와 비교한다. Arrow 물리 타입이나 추가 메타데이터가 Polars 표 변환 중 사라질 수 있으므로 필요한 정보는 변환 전에 별도 감사 표로 남긴다. Truthound가 planner와 analyzer의 schema를 자동 동기화하지는 않는다. [1, 2, 3]
적용 조건
같은 export의 declared_schema·executed_schema·approved_export_schema와 실제 출력 batch를 함께 보존한다.
대안
모든 UNION 분기에 같은 목표 cast를 명시하고 실제 batch를 다시 확인한다.
한계
Arrow 물리 타입을 Polars 표로 변환할 때 잃는 메타데이터는 외부 schema 감사 표에 따로 보존해야 한다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
