자정 후퇴 구간에서는 현지 날짜가 timestamp 순서를 따르지 않는다
자정 fallback 구간의 local date는 UTC 순서대로 증가하지 않을 수 있다. 역사 timezone 구간과 식 종류를 고정해 pruning 전후 key를 비교하고 skipping 비활성화를 모든 재작성의 해법으로 보지 않는다.
증가한 순간이 이전 날짜가 될 수 있다
자정 뒤 시계가 돌아가면 timestamp가 증가해도 local date는 감소한다. 운영자가 현지 날짜 기준을 독립 확정하면 Truthound Core로 pruning 뒤 key를 대조할 수 있다. [1, 2, 3]
역사적 St_Johns 구간의 보고
Hudi #20525는 master·Spark 3.5에서 America/St_Johns의 2009-11-01 파일 pruning을 다룬다. 02:30:30Z는 11월1일이고 더 늦은 02:40Z는 10월31일이다. file-statistics와 비슷한 가정의 Spark CAST rewrite를 구분한다. [1]
두 식의 대조를 분리한다
같은 파일에서 skipping 사용·미사용을 비교하고 UTC, zone, local date, min/max와 key를 남긴다. date_format과 CAST를 나눈다. skipping off가 모든 식 재작성을 고치지는 않는다. [1, 3]
key 2의 이전 날짜 기준
원문 UTC 2009-11-01 02:40:00인 key 2의 St_Johns 날짜는 2009-10-31이다. 해당 date_format 기대 집합 2는 통과하고 empty는 matching row를 제외해 실패한다. [1, 3]
시간대 이력은 외부 기준이다
Truthound Core Python SDK 3.3.2의 DistinctValuesEqualSetValidator는 추출 key를 expected_values와 대조한다. timezone history와 기준은 운영자가 정한다. SDK는 tzdb나 Hudi matcher를 수정하지 않는다. [1, 2, 3]
현대적인 DST 예제만으로 부족하다
query에 맞는 UTC 범위 또는 명시 날짜 경로를 확인하고 두 식의 시험을 유지한다. 최근 DST 예제는 좁은 역사적 자정 역전을 전혀 지나지 않을 수 있다. [1, 3]
하나의 tzdb 안에서도 생기는 비단조성
수용 기록에 역사 구간을 보존한다. 이 문제는 두 timezone DB의 불일치가 아니라 하나의 일관된 DB에서도 local-date 변환이 비단조가 되는 조건이다. [1, 3]
적용 조건
같은 파일의 UTC·historical zone·local date와 skipping 설정을 준비한다.
대안
date_format·CAST를 분리하고 검증한 UTC 범위 대안을 확인한다.
한계
skipping off가 Spark CAST의 별도 재작성까지 교정하는 것은 아니다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
