Trino decimal bucket join의 실행별 누락: 같은 snapshot으로 병렬 대조하기
입력과 snapshot이 같은데 결과가 흔들리면 값 범위보다 key별 task 배치와 매칭 상태를 확인해야 한다.
반복 실행도 검사 입력이다
총 입력 행 수가 같아도 key별 task 배치와 join 완전성은 달라질 수 있다. Truthound에 한 번 성공한 결과만 전달하면 비결정적 누락은 드러나지 않는다. 같은 snapshot을 사용하는 여러 실행을 구분해 비교해야 한다. [1, 2, 3]
공유 decimal hash buffer의 의심
Trino 공개 보고는 Iceberg decimal bucket 실행에서 같은 snapshot의 결과가 실행마다 달라지는 관측과 공유 hash buffer의 경쟁 가능성을 제시한다. 이전 버전과의 운영 비교는 있으나 축약 재현을 실행한 결과는 아니라고 명시한다. 따라서 원인 분석의 강도와 실제 관측 범위를 나눠 설명한다. [1]
매칭돼야 하는 키를 별도로 확보하기
고정 snapshot에서 반복 실행별 key·bucket·매칭 상태를 수집하고, 직렬 대조와 병렬 실행의 누락 키를 비교해 전환을 보류한다. 참조 표에 대응 키가 있다는 증거를 별도로 남긴다. source가 변하는 동안 얻은 다른 실행을 단순히 같은 실험이라고 부르지 않는다. [1, 3]
설명용 누락 기준
승인 참조 표에 매칭 키가 모두 있는 합성 입력에서는 예상 밖 미매칭 키 수가 0이어야 한다. 예상 밖 미매칭 키가 0개면 해당 실행의 참조 매칭은 보존된다. 그 수가 2개면 존재하는 상대 키를 연결하지 못한 두 업무 키를 추적해야 한다. 원래 대응 키가 없는 정상 outer join 행은 이 범위에서 제외한다. 단 한 번의 0이 이후 경쟁 조건의 부재까지 보장하지는 않는다. [1, 3]
Truthound로 조건부 완전성 확인
Truthound Core의 ConditionalExpressionValidator로 참조 키가 존재하는 행의 match_present가 참인지 검사할 수 있다. 독립 대조와 실제 결과를 같은 업무 키로 연결해야 한다. Truthound는 스레드 경쟁을 수정하지 않는다. bucket 최적화를 사용하지 않는 대조 경로를 검증하고, 수정 후에도 같은 병렬 조건에서 반복 측정한다. [1, 2, 3]
적용 조건
고정 snapshot의 run_id·business_key·bucket_id·match_present를 반복 실행별로 모으고 참조 키 존재를 독립 확인한다.
대안
고정 snapshot에서 직렬 또는 bucket 최적화 없는 대조를 반복한다.
한계
이슈의 축약 재현은 실행됐다고 쓰지 않는다. Truthound는 스레드 경쟁을 수정하거나 단일 검사로 비결정성 부재를 보장하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
