Styxis
Company
Knowledge

DataFusion 집계 후 기본 키: GROUP BY의 실제 grain으로 join을 검증하기

원본의 기본 키가 집계 결과에서도 혼자 유일하다고 가정하면 반복 기여 금액이 사라질 수 있다.

키 계약은 변환 뒤에 다시 정한다

변환 뒤의 키 계약은 원본 테이블의 기본 키 선언을 그대로 상속하면 안 된다. 같은 상품이 날짜마다 별도 집계 행을 만든다면 상품 키만으로 결과가 유일하지 않다. Truthound를 연결할 때도 실제 집계 grain인 복합 키를 선택해야 한다. [1, 2, 3]

inner join이 semi join으로 바뀐 사례

DataFusion 공개 보고는 기본 키와 추가 열로 GROUP BY한 결과를 기본 키만으로 유일하다고 잘못 판단하는 경우를 설명한다. 이 정보를 신뢰한 join 제거 최적화가 inner join을 semi join으로 바꾸면서 반복 기여가 사라지는 재현이다. 원본 테이블에 기본 키가 올바르게 선언돼 있어도 변환 결과의 유일성은 별도로 검증해야 한다. [1]

행의 의미를 먼저 기록하기

집계 결과의 실제 grain을 키와 추가 그룹 열로 문서화하고, downstream join의 반복 기여 횟수와 합계를 확인한다. 상품별 날짜 행이 합법적인 반복인지 중복 오류인지 구분하지 않고 삭제하면 optimizer 문제를 흉내 낸 전처리가 된다. [1, 3]

기여 횟수에서 합을 유도하기

설명용으로 금액 10인 상품이 두 날짜 그룹에, 금액 20인 상품이 한 날짜 그룹에 대응한다고 정하자. 올바른 합은 10+10+20=40이다. 관측 합계 40은 날짜 그룹별 기여를 보존한다. 상품마다 한 번만 세어 합계가 30이 되면 같은 상품의 다른 날짜 기여가 빠진 것이다. 기대값은 join 결과를 복사하지 않고 그룹별 매칭 횟수에서 계산한다. [1, 3]

Truthound의 두 가지 확인

Truthound Core의 ColumnPairValidator로 같은 집계 범위에 연결한 기대 합계와 관측 합계를 비교할 수 있다. 기대 합계는 상품별 금액과 날짜별 기여 횟수에서 독립적으로 계산하며 두 값은 비결측으로 준비한다. MultiColumnUniqueValidator를 실제 상품·날짜 grain에 추가할 수 있지만 유일성만으로 합계를 입증하지는 않는다. Truthound는 optimizer의 functional dependency 메타데이터를 교정하지 않는다. join 제거를 거치지 않는 대조 경로에서도 같은 입력의 기여 횟수를 확인한다. [1, 2, 3]

적용 조건

같은 item_id·sales_date 입력의 기여 횟수에서 기대 합계를 독립 계산하고 해당 join의 관측 합계와 연결한다.

대안

join 제거 최적화를 거치지 않는 대조 쿼리로 반복 기여 금액을 계산한다.

한계

  • Truthound의 복합 키 검사가 optimizer의 functional dependency 메타데이터를 교정하지는 않는다.

근거

사건 확인일
대상 확인일
수정일