DuckDB SUM 뒤 UINT8 cast가 실패할 때: 집계 출력 타입의 용량 검증
입력 값이 작은 정수여도 집계 결과는 더 넓은 타입이 필요할 수 있다.
집계값은 입력의 범위를 넘는다
집계 결과의 타입 용량은 입력 값 범위가 아니라 가능한 집계 범위를 수용해야 한다. Truthound의 검사 대상으로 삼을 것은 출력 타입의 이름만이 아니라 그 타입이 담을 최대값과 업무가 요구하는 최대값의 관계다. [1, 2, 3]
조건식 변경 뒤 나타난 좁은 cast
DuckDB 공개 재현은 동치인 CASE 조건을 추가한 DISTINCT SUM 쿼리에서 집계 뒤 좁은 변환이 들어가 유효한 합을 저장하지 못하는 사례를 보여 준다. 입력 값이 그 좁은 타입에 들어간다는 사실은 집계 결과에도 같은 타입을 적용해도 된다는 근거가 아니다. [1]
export 경계의 계약 표
집계 경계에서 출력 타입과 최대 표현값을 명시하고, 조건식 리팩터링 전후에 동일한 넓은 출력 계약이 유지되는지 검사한다. 합의 상한은 입력 행 수와 값 범위 또는 승인된 업무 제한에서 산출한다. 관측된 작은 배치의 최댓값만 보고 타입을 줄이지 않는다. [1, 3]
두 입력을 합한 설명용 사례
200과 200을 더하는 합성 입력은 400을 담을 수 있어야 한다. 출력 타입의 최대값이 65535이면 이 조건을 만족하지만 최대값이 255이면 실패한다. 400이 나온 실행만 확인할 것이 아니라 실제 export 단계가 그 값을 수용하는지도 확인해야 한다. [1, 3]
Truthound의 관계식 검사
Truthound Core의 ExpressionValidator는 준비한 계약 표에서 출력 타입 최대값이 필요한 집계 상한 이상인지 확인할 수 있다. 타입 최대값과 업무 상한을 정확히 제공하는 책임은 외부에 남는다. 검사는 optimizer의 materialization이나 cast를 교정하지 않는다. 명시적인 넓은 결과 타입을 사용하는 대안도 최종 목적지 스키마와 함께 검증해야 한다. [1, 2, 3]
적용 조건
aggregate_name별 output_maximum과 독립적으로 산출한 required_maximum을 같은 export 계약 표에 둔다.
대안
집계 후 좁은 타입 변환을 제거한 명시적 넓은 결과 경로를 사용한다.
한계
출력 타입의 최대값과 업무 집계 상한은 외부에서 정확히 제공해야 한다. Truthound는 압축 materialization 계획을 고치지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
