Styxis
Company
Knowledge

Hudi 증분 pruning의 통계가 과거 파일 범위를 덮는지 확인하기

과거 증분 조회의 정답을 현재 snapshot에서 만들면 pruning 누락을 놓칠 수 있다. 요청한 timeline 범위를 고정하고 같은 범위의 비최적화 키 집합과 대조한다.

최신 통계가 항상 더 안전하지는 않다

증분 조회의 통계는 선택한 과거 파일을 포함해야 안전하다. 최신이라는 이유만으로 기준을 삼을 수 없다. 운영자가 과거 기대 집합을 따로 확정하면 Truthound Core로 반환 키를 대조할 수 있다. [1, 2, 3]

현재 값으로 과거 일치를 지운 보고

Hudi #20480은 1.3.0-SNAPSHOT Flink 증분 조회에서 age가 23에서 50으로 바뀐 파티션의 과거 행이 누락될 수 있다고 보고한다. 후속 논의는 end가 최신이어도 start, commit 제한과 skip 설정 때문에 coverage가 충분하지 않을 수 있다고 설명한다. [1]

completion time과 실제 파일을 고정한다

start·end completion time과 선택 파일 범위를 고정하고 같은 범위에서 partition stats pruning을 끈 키 집합과 비교한다. read.commits.limit와 skip 설정도 기록한다. 현재 snapshot으로 과거 정답을 만들면 검사가 순환한다. [1, 3]

과거 age 23의 독립 기준

commit 1에서 id1과 id2가 모두 age=23이고 이후 id1만 50이 된다. commit 1 범위의 기대 집합은 id1|id2다. 둘 다 반환하면 통과하고 최신 통계 때문에 id2만 남으면 현재 값으로 과거 증거를 제외해 실패한다. [1, 3]

timeline은 운영자가 준비한다

Truthound Core Python SDK 3.3.2의 DistinctValuesEqualSetValidator는 내보낸 키와 기대 집합을 대조할 수 있다. timeline coverage와 키 정규화는 입력 준비의 책임이다. SDK가 Hudi timeline이나 partition 통계를 복원하지 않는다. [1, 2, 3]

서로 다른 pruning을 구분한다

파티션 조건 pruning과 비파티션 값 통계 pruning을 나눈다. 후속 논의는 안전 조건이 확정될 때까지 증분 partition stats pruning을 보수적으로 끄고 다른 pruning은 유지하는 방안을 선호한다. 이를 보편적인 성능 처방으로 확대하지 않는다. [1, 3]

결과와 함께 과거 범위를 남긴다

승인 질문은 현재 통계가 그럴듯한지가 아니라 요청한 과거 키가 남았는지다. 범위와 기준 추출 방법을 결과와 함께 보존해야 실제 과거 부재와 pruning 누락을 구별할 수 있다. [1, 3]

적용 조건

start·end completion time과 선택 파일·skip 설정을 고정한다.

대안

필요 coverage가 확인될 때까지 incremental partition-stat pruning을 보류한다.

한계

  • 현재 snapshot으로 과거 기대 집합을 대신 만들지 않는다.

근거

사건 확인일
대상 확인일
수정일