Styxis
Company
Knowledge

Delta checkpoint의 Parquet 유효성과 action 완전성을 나눈다

읽히는 Parquet이라도 실패한 checkpoint 생성의 산출물일 수 있다. 후보를 승인하기 전에 실제 protocol·metaData action과 원본 log 범위를 확인한다.

읽히는 파일도 불완전할 수 있다

Parquet 형식 유효성과 checkpoint 완전성은 다른 계약이다. 읽히는 파일에도 table 복원에 필요한 action이 없을 수 있다. 운영자가 추출한 action inventory를 Truthound Core로 검사한 뒤 후보를 승인할 수 있다. [1, 2, 3]

close가 남긴 부분 checkpoint 보고

Delta Kernel #7174는 4.3.0에서 이전 log 읽기가 실패해도 close가 일부 유효 Parquet를 남겨 Protocol·Metadata가 빠질 수 있다고 보고한다. 후속 댓글은 abort 처리를 제안하며 배포 수정을 검증한 결과는 아니다. [1]

생성 실행 상태도 함께 보존한다

생성 성공 여부, 원본 log 범위, action count와 version을 남기고 mid-read 실패 산출물을 정상 후보와 분리한다. protocol·metaData라는 열 이름보다 실제 non-null action이 있는지 확인한다. [1, 3]

필수 종류를 AddFile 수로 대신하지 않는다

설명용 필수 집합은 metaData|protocol이다. 실제 두 action이 있으면 종류 존재 조건을 통과한다. required 집합 empty는 AddFile이 많고 reader가 열어도 실패다. 다른 checkpoint 규칙은 별도로 남는다. [1, 3]

추출된 summary에 적용하는 검사

Truthound Core Python SDK 3.3.2의 RowLevelValidator는 준비한 action summary에 Python predicate를 적용할 수 있다. required 정의와 파일 parse는 운영자가 맡는다. SDK는 log 재생이나 부분 checkpoint 자동 제거를 하지 않는다. [1, 2, 3]

원본 log를 보존한 재생성

지원 checkpoint 재생성 경로를 쓰더라도 원본 log를 보존한다. 새 파일, action inventory와 후속 table load를 각각 확인한다. close 성공을 복구 완료로 읽지 않는다. [1, 3]

실패 산출물의 역할을 제한한다

producer 실패와 읽히는 artifact는 동시에 가능하다. 파일은 진단 근거로 남기되 container가 온전하다는 이유만으로 권위 있는 checkpoint로 승격하지 않는다. [1, 3]

적용 조건

실제 non-null action 종류와 checkpoint 생성 상태를 추출한다.

대안

원본 log를 보존하고 지원 재생성 후 파일·action·load를 확인한다.

한계

  • 유효 Parquet나 action 열 이름만으로 checkpoint 완전성을 승인하지 않는다.

근거

사건 확인일
대상 확인일
수정일