Styxis
Company
Knowledge

Iceberg v2 snapshot 필수 필드는 reader 수용과 별도로 검사한다

Iceberg metadata는 reader가 받아들였는지와 format-version의 필수 필드가 있는지를 따로 확인한다. 신규 snapshot의 manifest-list와 summary 존재를 검사한 뒤 참조 내용으로 검증을 이어간다.

한 구현의 성공을 규격으로 삼지 않는다

metadata 필수 필드는 한 reader의 수용과 별도로 확인한다. 운영자가 version·필드 표를 추출하면 Truthound Core로 다중 reader 호환 승인의 첫 경계를 검사할 수 있다. [1, 2, 3]

Java와 PyIceberg가 다르게 받은 보고

Iceberg #18646은 main builder가 v2에 manifest-list 없이 manifests만 있는 snapshot을 허용한다고 보고한다. Java는 읽지만 PyIceberg 0.12는 필수 오류를 낸다. 원문의 다른 format 규칙까지 이 두 필드로 인증하지 않는다. [1]

version별 새 metadata 계약

format-version, snapshot ID, manifest-list·summary 존재를 추출해 신규 metadata에 version 계약을 적용한다. reader 결과도 따로 남겨 관대한 수용이 필수 필드 부재를 지우지 않게 한다. [1, 3]

두 존재 조건의 AND

설명용 v2 계약은 manifest-list와 summary를 모두 요구한다. 결합 presence=true면 통과하고 false면 Java가 수용해도 실패다. 이 Boolean은 manifest 내용이나 row-ID allocation을 검사하지 않는다. [1, 3]

snapshot summary에 적용할 SDK 범위

Truthound Core Python SDK 3.3.2의 RowLevelValidator는 추출한 snapshot record에 운영자가 정의한 predicate를 적용한다. version 의미와 presence 추출은 입력 조건이다. SDK가 builder나 metadata parser를 구현하지 않는다. [1, 2, 3]

실제 소비 구현의 load를 추가한다

실제 reader마다 호환 load와 version별 writer 검사를 둔다. Java 성공은 대조 하나이며 독립적인 필수 규칙을 대신하지 않는다. [1, 3]

존재 통과 뒤에 남는 검증

필드 존재는 이른 수용 경계다. 암호화, row range, 실제 manifest 참조와 snapshot 의미는 그 뒤에도 각 근거가 필요하다. [1, 3]

적용 조건

snapshot format-version과 manifest-list·summary의 실제 존재를 추출한다.

대안

각 실제 reader의 load와 version별 writer 검사를 추가한다.

한계

  • 필드 존재는 manifest 내용·암호화·row range 정확성의 보장이 아니다.

근거

사건 확인일
대상 확인일
수정일