Hudi NULL 배열 원소는 list encoding의 왕복 계약으로 확인한다
NULL 원소 배열은 writer 성공 뒤에도 소비 경로별 왕복 확인이 필요하다. 부모 validity, 원소 위치, NULL 상태를 나누어 빈 배열 치환이나 원소 손실을 찾는다.
쓰기 옵션 하나로 끝나지 않는다
배열 원소 nullability는 writer와 reader 사이 왕복 계약이다. 운영자가 파일 encoding을 확인하고 위치별 NULL bitmap을 만들면 Truthound Core로 원본과 대조할 수 있다. [1, 2, 3]
한 설정의 성공 범위를 지킨다
Hudi #20505는 1.2.0 Spark SQL INSERT에서 기본 Parquet Avro list encoding으로 NULL 원소를 쓰다 실패한다고 보고한다. driver-wide 설정 실험은 성공했지만 다른 writer·reader·compaction·clustering은 검증하지 않았다고 명시한다. [1]
빈 배열과 NULL 부모도 분리한다
일반 배열, NULL 원소 배열, 빈 배열과 NULL 부모를 나눈다. 실제 소비 경로마다 부모 키·위치·NULL 상태를 왕복 대조한다. INSERT 한 번의 성공은 전체 교환 경로의 호환성을 대신하지 않는다. [1, 3]
두 번째 위치의 NULL 보존
설명용 원본은 [1,NULL,3]이다. 두 번째 위치의 is_null=true는 부모와 세 위치가 남았다는 조건에서 통과한다. false는 숫자로 치환되어 원래 배열 의미가 바뀐 실패다. [1, 3]
위치 정렬이 필요한 SDK 검사
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 비결측 is_null flag를 원본 bitmap과 대조한다. 부모·위치 정렬은 운영자가 제공한다. SDK는 Parquet list encoding을 바꾸거나 빠진 위치를 추론하지 않는다. [1, 2, 3]
소비와 재작성 경로를 모두 본다
원문의 설정을 통제 환경에서 먼저 확인하고 실제 소비·재작성 경로의 증거가 모인 뒤 전환한다. 원본 encoding과 자료도 대조를 위해 보존한다. [1, 3]
빈 배열은 같은 결과가 아니다
[1,NULL,3]을 빈 배열로 저장하면 writer가 성공해도 원본이 보존된 것이 아니다. 개수, 부모 validity와 원소 validity는 각각 관측해야 하는 다른 속성이다. [1, 3]
적용 조건
부모 key·원소 위치·NULL bitmap을 writer와 실제 reader 사이에 정렬한다.
대안
선택 encoding을 통제 환경에서 확인한 뒤 모든 소비 경로를 검증한다.
한계
driver 설정 한 번의 성공은 compaction·다른 reader 호환성의 보장이 아니다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
