Trino SCD 조회에 활성 행이 두 개면 delete 파일의 비키 통계를 확인하자
equality key가 아닌 payload 열의 통계로 삭제 파일을 제외하면 닫혀야 할 과거 버전이 남을 수 있다.
활성 버전은 시점까지 포함한 계약
삭제 키와 부가 payload의 통계를 혼동하면 이력의 단일 활성 버전 계약이 깨진다. Truthound가 검사할 키도 사람 ID 하나가 아니라 조회 기준 시점과 사람 ID의 조합이어야 한다. 이력 전체에 여러 버전이 있다는 사실 자체는 오류가 아니다. [1, 2, 3]
삭제 파일이 계획에서 빠지는 보고
Trino 공개 재현은 equality delete 파일에 추가 비키 열이 포함되고 그 통계가 query predicate와 맞지 않아 파일이 scan에서 제외되는 경우를 설명한다. 닫혀야 할 SCD 행이 새로운 활성 행과 함께 조회되는 사례다. delete key와 보조 열을 같은 필터 근거로 취급한 결과를 조사해야 한다. [1]
시점별 합성 인수 조건
설명용으로 특정 기준 시점의 한 person_id에 활성 버전 1개를 허용하면 1개는 통과하고 2개는 실패한다. 기간 경계의 포함·배제 규칙은 업무 모델에서 먼저 정한다. 서로 다른 기준 시점의 행을 합쳐 중복으로 판정하거나 정상 과거 이력을 제거해서는 안 된다. [1, 3]
Truthound로 검사할 현재 해석
기준 시점별 person_id의 활성 버전을 검사하고, 위반 시 delete 파일의 equality IDs와 추가 필드가 분리돼 있는지 조사한다. Truthound Core의 MultiColumnUniqueValidator로 물질화한 시점·사람 복합 키의 유일성을 확인할 수 있다. 이 검사는 delete-file pruning을 고치지 않는다. 비키 필드를 분리한 대조 파일과 실제 조회를 비교하되 원본 이력을 보존한 상태에서 수행한다. [1, 2, 3]
적용 조건
같은 snapshot에서 as_of_date·person_id·active_version_id를 물질화하고 유효기간 포함·배제 규칙을 먼저 승인한다.
대안
delete 파일의 비키 필드를 분리한 대조 파일로 reader 적용 범위를 확인한다.
한계
유효기간의 포함·배제 경계는 업무 모델에서 정해야 한다. Truthound는 Iceberg delete-file pruning을 변경하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
