Hudi narrow integer의 쓰기·읽기·통계 준비를 나눈다
narrow integer의 bulk_insert는 write·read·stats 준비성을 각각 확인한다. ShortType과 ByteType 경로를 나누고 파일 존재나 일반 insert 성공으로 통계 소비까지 승인하지 않는다.
파일 생성만으로 전체 경로가 준비되지는 않는다
좁은 정수의 writer·reader·stats는 별도 수용 조건이다. 운영자가 각각의 readiness를 준비하면 Truthound Core로 필요한 입력 상태를 확인할 수 있다. [1, 2, 3]
bulk_insert의 INT(16) 경로 보고
Hudi #20503은 master·Spark 3.5의 ShortType bulk_insert가 다른 경로와 달리 INT32+INT(16)을 쓰며 vectorized read가 실패하고 stats가 빠진다고 보고한다. ByteType은 쓰기부터 실패한다. 모든 정수 경로의 공통 실패는 아니다. [1]
operation과 annotation을 연결한다
input dtype, write operation, physical annotation, read status와 stats 수집을 기록한다. ShortType·ByteType을 나누고 파일이 있어도 stats-dependent 소비를 완료로 세지 않는다. [1, 3]
필수 stats의 준비 상태 예제
설명용 작업은 small 열의 stats를 필수 입력으로 정한다. stats_available=true는 전제를 통과한다. false는 stats pruning 승인을 막는다. true만으로 통계나 행 값이 맞다고 결론 내리지 않는다. [1, 3]
지원 추가가 아닌 준비 flag 대조
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 비결측 availability를 true와 비교한다. 파일·stats record 확인은 운영자가 맡는다. SDK는 Hudi narrow integer writer·reader 지원을 추가하지 않는다. [1, 2, 3]
부분 대안의 한계를 표시한다
실제 버전에서 원문의 insert와 비vectorized read를 확인하고 값·stats를 각각 검증한다. 읽기만 회복하고 필수 stats가 없는 대안은 부분 대응이다. [1, 3]
결과를 실제 write path에 묶는다
성공한 insert로 bulk_insert를 승인하거나 read 성공으로 빠진 stats를 감추지 않도록 각 readiness를 operation과 함께 보존한다. [1, 3]
적용 조건
narrow dtype·write operation·Parquet annotation·read/stats 상태를 준비한다.
대안
같은 버전의 insert·비vectorized 대조를 값과 stats별로 확인한다.
한계
stats 존재는 값 정확성이나 모든 pruning 안전성을 증명하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
