Iceberg REST schema 정리에서 current-schema-id를 먼저 대조해야 하는 이유
정리와 열 추가가 같은 REST 요청에 들어갈 때는 현재 schema 참조가 보존된 정의에 연결되는지 확인해야 한다.
읽을 수 있는 메타데이터가 승인 기준이다
메타데이터 갱신은 JSON 생성 성공보다 현재 schema ID가 실제 보존된 schema 정의를 가리키는지가 먼저다. Iceberg REST의 정리 작업 뒤에 열 추가를 묶는다면, 응답 상태와 별개로 이 연결을 검사할 작은 데이터 계약을 둘 수 있다. Truthound Core Python SDK의 참조 검사는 운영자가 추출한 ID 표를 대조하는 역할을 맡는다. [1, 2, 3]
실패 응답 뒤에도 포인터는 이동할 수 있다
Apache Iceberg issue #18677은 main 개발 브랜치에서 TableMetadata.Builder.removeSchemas가 schemas에서는 ID를 지우지만 schemasById에는 남긴다고 보고한다. 같은 REST 요청의 add-schema가 그 ID를 다시 찾으면 새 정의가 배열에 들어가지 않은 채 current-schema-id만 변경될 수 있다. 원문에서는 current-schema-id=1인데 schemas에는 0만 남고, 커밋 뒤 loadTable이 실패한다. 이는 공개 보고의 조건이며 이 글에서 엔진을 실행해 재현하거나 수정을 검증한 결과는 아니다. [1]
요청 경계와 테이블 버전을 함께 남긴다
정리와 schema 변경을 결합한 요청의 전후 메타데이터에서 current-schema-id를 schemas의 ID 집합과 대조하고, 참조가 끊기면 다음 정리나 쓰기를 진행하지 않는다. 대조표에는 테이블 식별자, 변경 전후 metadata 위치, 요청 ID, current-schema-id, schemas.id를 남긴다. 다른 테이블이나 다른 시점의 schemas 목록을 섞으면 실제로 끊긴 연결도 있는 것처럼 보일 수 있다. [1, 3]
ID 하나의 연결을 설명용으로 시험한다
설명용 metadata에 schemas=[0,1], current-schema-id=1을 정의하면 현재 ID의 참조가 해결된다. schemas=[0]인 상태에 current-schema-id=1을 남기면 참조가 해결되지 않는다. 첫 경우는 ID 1이 보존되어 참조 존재 조건을 통과한다. 두 번째는 JSON으로 표현할 수 있어도 읽을 schema가 없으므로 승인하지 않는다. 이 기대값은 정의한 ID 집합에서 나온 것이며 관측 결과를 정답으로 복사한 값이 아니다. [1, 3]
참조 존재와 schema 내용은 다른 검사다
Truthound Core Python SDK 3.3.2의 ReferentialIntegrityValidator에는 current-schema-id 열과 운영자가 만든 schemas.id 참조 표를 제공할 수 있다. 이 검사는 지정한 열의 값이 reference_data의 참조 열에 존재하는지를 다룬다. 같은 ID의 schema 내용이 승인한 열 구조와 같은지는 별도로 검사해야 한다. SDK가 REST commit의 원자성이나 builder 색인을 복구하지 않는다. [1, 2, 3]
catalog 종류를 바꾸어 일반화하지 않는다
원문은 InMemoryCatalog와 JdbcCatalog를 영향 대상에서 제외한다. 이들은 각 연산을 새로 만든 metadata에 적용하기 때문이다. 반대로 CatalogHandlers의 commit loop 또는 그 복사본을 쓰는 REST 서버가 보고의 대상이다. partition spec의 유사한 경로는 읽을 수 없는 metadata를 커밋하는 대신 요청이 거절된다고 구분되어 있다. schema와 spec의 실패 양상을 하나로 묶지 않는 편이 대응 범위를 정확하게 만든다. [1]
결합 요청을 승인할 근거가 부족하면 분리한다
같은 요청에서 정리와 변경을 수행해야 할 이유가 약하다면 두 작업을 별도 승인 단계로 나누고 각 단계 뒤 실제 loadTable을 확인할 수 있다. 참조 대조를 통과해도 새 열의 타입, field ID, 호환성까지 확인한 것은 아니다. 따라서 참조가 해결된다는 결과는 다음 검사로 넘어갈 필요조건으로 사용하고 전체 변경의 안전 보증으로 사용하지 않는다. [1, 3]
적용 조건
동일 REST 요청 전후의 current-schema-id와 schemas.id를 추출한다.
대안
정리와 schema 변경을 분리하고 단계별 loadTable을 확인한다.
한계
ID 참조 존재는 schema 내용이나 REST commit 원자성을 입증하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
