Hudi savepoint는 clean 뒤 실제 AS OF 읽기까지 확인한다
clean 뒤 savepoint 파일이 남았어도 지정 commit의 AS OF 읽기를 직접 확인한다. 보존 inventory와 consumer-read 상태를 나누어 파일 부재와 읽기 경계 거절을 구별한다.
파일 보존과 조회 허용은 다른 조건이다
복구 파일이 남는 것과 timestamp query가 허용되는 것은 다르다. clean 전 savepoint 기준과 이후 read 상태를 운영자가 준비하면 Truthound Core로 대조할 수 있다. [1, 2, 3]
c2 파일은 남았지만 읽기가 거절된 보고
Hudi #20482는 1.2.1·Spark 3.5.5에서 c2 savepoint 파일이 보존돼도 earliestCommitToRetain 검사가 TIMESTAMP AS OF를 거절한다고 보고한다. clean 전 같은 query는 해당 row를 반환한다. [1]
정확히 같은 instant를 유지한다
savepoint commit, 보존 파일, clean watermark, AS OF status와 기대 row를 연결한다. inventory만으로 준비 완료를 선언하지 않고 읽힌다는 이유로 더 새 snapshot을 대신 선택하지도 않는다. [1, 3]
ROW_1_B의 기준은 clean 이전이다
c2에서 독립 보존한 결과는 (id=1,v=b)다. 설명용 clean 후 ROW_1_B는 통과한다. RETENTION_ERROR는 파일이 남아도 실패다. tag에는 원하는 복구 시점과 내용이 함께 반영된다. [1, 3]
읽기 결과를 검사할 SDK 범위
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 비결측 read-state tag를 비교한다. 실제 읽기와 이전 기준 보존은 운영자가 맡는다. SDK는 time-travel 검사를 우회하거나 savepoint를 복원하지 않는다. [1, 2, 3]
격리 환경에서 복구 약속을 검증한다
clean 정책과 지원 복구 절차를 격리 환경에서 확인한다. 보관된 시점을 운영상 복구 약속으로 쓰기 전에 실제 savepoint read를 수행한다. [1, 3]
두 시험의 불일치는 준비성의 차이다
retention과 consumer-read 시험은 서로 다른 질문이라 결과가 달라도 모순이 아니다. 둘을 기록하면 물리적으로 savepoint가 지워졌다는 미확인 설명 대신 정확한 readiness 빈틈을 보여 줄 수 있다. [1, 3]
적용 조건
clean 전 c2 기준 row와 후속 파일·watermark·AS OF 상태를 준비한다.
대안
격리 환경에서 지원 clean·savepoint 복구 절차를 확인한다.
한계
파일 보존은 해당 instant의 reader 선택·읽기 성공을 보장하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
