Styxis
Company
Knowledge

ClickHouse MATERIALIZED CTE: 마지막 소비자까지 데이터가 남는지 검사하기

공유 중간 결과를 첫 번째 쿼리가 잘 읽었다고 해서 이후 reader도 같은 범위를 읽는 것은 아니다.

소비자마다 다른 기수 계약

공유 중간 결과는 첫 번째 소비자뿐 아니라 모든 소비자의 데이터 범위를 보장해야 한다. UNION ALL로 두 번 읽는 소비자와 self-join 소비자는 기대 행 수부터 다를 수 있다. Truthound 검사도 전체 쿼리의 숫자 하나가 아니라 역할별 실행 결과를 대상으로 설계한다. [1, 2, 3]

후속 reader가 비는 재현

ClickHouse의 공개 예제는 MATERIALIZED CTE를 UNION ALL scalar subquery에서 먼저 반복 사용하고 다른 scalar reader가 읽은 다음, 마지막 self-join이 빈 결과를 내는 상황을 보여 준다. materialized CTE 설정을 끄거나 읽기 순서를 바꾼 대조도 제시한다. 이를 모든 CTE의 일반적인 수명 규칙으로 설명해서는 안 된다. [1]

마지막 소비자를 승인 항목에 넣기

같은 CTE를 사용하는 소비자별 기대 기수와 실제 기수를 기록하고, 읽기 순서를 바꾼 대조군에서 마지막 소비자가 비워지지 않는지 확인한다. 각 reader의 필터와 join 키도 보관한다. 읽기 순서만 달리했는데 결과가 달라지는지 관찰하려면 입력과 소비자 의미가 같아야 한다. [1, 3]

self-join의 독립 기대값

설명용 CTE에 서로 다른 키의 10행을 두고 같은 키로 self-join하면 기대 결과는 10행이다. 마지막 self-join 소비자가 10행을 받으면 입력의 고유 키가 보존된 개수이며, 0행을 받으면 공유 CTE의 기대 범위를 읽지 못한 것이다. 키가 중복된 입력이라면 이 기대값은 적용할 수 없다. UNION ALL로 중복 읽는 다른 소비자에게도 동일한 기대값을 강제하지 않는다. [1, 3]

역할별 집계와 대안

Truthound Core의 QueryGroupAggregateValidator는 준비한 reader별 감사 표를 SQL로 집계해 승인된 역할별 범위와 비교하는 데 연결할 수 있다. 기대 역할이 빠진 경우도 검사해야 한다. 이 기능이 CTE reader나 공유 버퍼의 수명을 관리하는 것은 아니다. materialization 설정을 끈 대조 경로가 가능하면 값과 기수를 함께 확인하고 그 비용까지 고려해 임시 운영 경로를 선택한다. [1, 2, 3]

적용 조건

같은 CTE 입력에서 reader_role별 input_contract와 actual_rows를 만들고 필터·join 키·읽기 순서를 보존한다.

대안

MATERIALIZED CTE 설정을 끈 대조 경로에서 소비자별 결과를 확인한다.

한계

  • Truthound는 CTE reader 수명이나 공유 버퍼를 관리하지 않는다. 서로 다른 역할에 같은 기대 행 수를 일괄 적용하면 안 된다.

근거

사건 확인일
대상 확인일
수정일