Styxis
Company
Knowledge

Hudi meta sync의 clean 누락은 필요한 window로 분류한다

archived clean의 부재는 현재 sync에 필요한 window에 속하는지부터 판단한다. 필수 근거가 사라졌다면 같은 경계의 검증된 전체 partition 목록으로 대조한 뒤 완료를 결정한다.

과거 부재와 필수 입력 부재는 다르다

이미 반영한 과거 clean과 이번 sync의 필수 clean은 같은 오류 정책을 쓸 수 없다. 운영자가 필요 window를 정하면 Truthound Core로 그 안의 가용 조건을 검사할 수 있다. [1, 2, 3]

archiver와 경합한 보고의 범위

Hudi #20379는 이전 sync가 이미 반영한 clean까지 읽다가 archiver와 경합해 실패하는 경우를 설명한다. 필요한 window 안의 누락은 별도로 다룬다. 후속 수정 PR 링크는 설치 버전의 적용 확인과 다르다. [1]

list와 open 시각까지 남긴다

last synced commit과 다음 partition 변경에 필요한 window를 고정한다. instant, list·open 시각을 기록하고 필수 근거가 없으면 검증된 전체 partition 목록 대조를 얻는다. 근거 없이 완료로 처리하지 않는다. [1, 3]

이번 삭제를 설명할 clean 하나

설명용으로 last sync 뒤 현재 partition 삭제를 설명하는 clean 하나를 필수로 지정한다. available=true는 전제를 통과한다. false를 예전 404처럼 무시하면 이번 삭제 계산의 입력이 빠져 실패다. [1, 3]

필수 분류의 책임은 입력에 있다

Truthound Core Python SDK 3.3.2의 ConditionalExpressionValidator는 required인 행에 availability를 요구할 수 있다. 분류와 기록 수집은 운영자가 맡는다. SDK는 archiver를 멈추거나 Hive·Glue를 동기화하지 않는다. [1, 2, 3]

전체 목록 fallback도 시점을 맞춘다

동일 경계의 전체 partition 목록과 catalog를 비교하는 지원 fallback을 확인한다. wrapping된 S3 예외 모양만으로 해당 삭제가 이미 적용됐는지는 판정할 수 없다. [1, 3]

필요하지 않은 이력의 영구 보존은 아니다

어떤 부재가 무관하고 어떤 부재가 필수인지 설명할 provenance를 남긴다. 이 계약은 모든 옛 instant의 영구 보존을 요구하지 않으며 현재 입력 window의 올바른 분류를 요구한다. [1, 3]

적용 조건

last sync와 이번 삭제 계산에 필요한 clean window를 고정한다.

대안

같은 경계의 전체 partition 목록 fallback을 검증한다.

한계

  • 예외 wrapping만으로 과거 반영 여부를 추정하지 않는다.

근거

사건 확인일
대상 확인일
수정일