Hudi union reader는 non-null branch를 실제 투영해 검사한다
Avro union의 file-group projection은 branch별 값과 member 표현으로 legacy 경로와 대사한다. top-level 이름 하나의 성공으로 아직 읽지 않은 nested branch를 승인하지 않는다.
name 열 성공으로 union을 승인하지 않는다
다른 열이 읽힌다고 union 열도 준비된 것은 아니다. 각 non-null branch와 projection을 시험하고 운영자가 만든 표현 기준을 Truthound Core로 대조할 수 있다. [1, 2, 3]
Parquet 뒤 schema rewrite에서 실패한 보고
Hudi #20528은 1.3.0-SNAPSHOT Hive/MR file-group reader가 Parquet member group을 Avro UNION으로 재작성하다 실패한다고 보고한다. legacy는 member struct를 반환한다. 원문의 Parquet read 성공과 이후 rewrite 실패를 구분한다. [1]
같은 파일의 branch 대조군
COPY_ON_WRITE의 branch별 non-null fixture를 고정하고 file-group·legacy projection을 비교한다. branch, 값, read status와 member 구조를 보존한다. name-only 대조를 union 전체 근거로 쓰지 않는다. [1, 3]
member0의 1을 기준으로 둔다
설명용 [null,int,string]의 값 1은 승인 meta-sync 표현에서 member0=1,member1=null이다. MEMBER0_1은 통과하고 READ_ERROR는 실패다. 반환이 없는데 member struct를 지어 넣지 않는다. [1, 3]
union 해석은 외부에서 완료한다
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 비결측 representation tag를 비교한다. branch 해독과 기준은 운영자가 공급한다. SDK는 Avro union이나 Hudi schema rewrite를 구현하지 않는다. [1, 2, 3]
대안 reader도 같은 projection으로 본다
같은 파일·projection에서 legacy 대조를 검증한다. branch 하나의 성공이 record union이나 union 원소 배열까지 포함하지는 않는다. [1, 3]
부분 호환을 숨기지 않는 기록
projection과 branch를 결과 옆에 보존한다. 그래야 성공한 top-level 필드가 시험하지 않은 nested 경로를 대신 승인하지 않는다. [1, 3]
적용 조건
같은 COW 파일의 non-null union branch별 projection을 준비한다.
대안
동일 projection의 legacy reader를 검증해 지원 경로를 고른다.
한계
name-only 성공은 union·record union·union array 전체 지원을 입증하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
