Styxis
Company
Knowledge

Hudi 삭제 이벤트의 중첩 ordering 값도 원래 순서를 지켜야 한다

늦게 도착한 delete가 최신 update를 지우는지 같은 키로 재생해 본다. 중첩 ordering 경로와 table version을 기록하고 사건 시각 정책에 맞는 생존 버전을 확인한다.

삭제에도 사건 순서가 있다

중첩 필드를 찾지 못해 나온 기본값은 정상 ordering 시각을 대신할 수 없다. 운영자가 사건 순서의 독립 기준을 만들면 Truthound Core로 최종 생존 상태를 대조할 수 있다. [1, 2, 3]

오래된 delete가 최신 행을 지운 보고

Hudi #20367은 Spark MOR table version 8·9에서 nested ordering 값이 기본값으로 기록되어 오래된 delete가 새 행을 지운다고 설명한다. 후속 논의는 nested ordering이 기존 Spark 설정임을 설명하며 별도 version 10 writer 예외와 구분한다. [1]

같은 키의 두 사건을 대조한다

같은 키의 최신 update와 오래된 delete를 중첩·최상위 필드 경로에서 통제 재생한다. merger 종류, table version과 원래 ordering 값을 남긴다. EVENT_TIME_ORDERING에 commit-time 기대값을 빌려 적용하지 않는다. [1, 3]

100을 50이 지우지 못하는 계약

설명용 id1의 meta.ts=100이고 delete의 meta.ts=50이다. EVENT_TIME_ORDERING에서는 생존 version 100이 기대값이며 이를 유지하면 통과한다. 부재를 검사표에 0으로 표시했을 때 0이면 오래된 삭제가 최신 행을 지워 실패한다. [1, 3]

부재 표식과 실제 버전을 나눈다

Truthound Core Python SDK 3.3.2의 DistinctValuesEqualSetValidator로 준비한 생존 version을 기대 집합과 비교할 수 있다. 실제 version 0과 부재가 섞이지 않도록 키 존재도 함께 기록한다. SDK는 delete block을 다시 쓰거나 중첩 경로를 추론하지 않는다. [1, 2, 3]

정책을 바꾸지 않은 대조 경로

최상위 필드 또는 원문의 Avro record 경로를 실제 환경에서 대조한다. 이 대안도 같은 사건 순서 정책을 지켜야 한다. commit-time으로 바꾸어 성공한 결과는 원래 정책의 보존 증거가 아니다. [1, 3]

다른 키의 생존은 대체 증거가 아니다

검사 대상은 같은 정체성의 오래된 delete와 최신 update다. 다른 키가 남았다는 결과만으로 이 키의 최신 사건도 보존됐다고 말할 수 없다. 순서와 최종 존재 결정을 함께 남긴다. [1, 3]

적용 조건

같은 key의 update·delete ordering과 merger·table version을 준비한다.

대안

top-level 또는 Avro 경로를 같은 사건 순서 정책으로 대조한다.

한계

  • EVENT_TIME_ORDERING 기대값을 commit-time 정책에 그대로 쓰지 않는다.

근거

사건 확인일
대상 확인일
수정일