Styxis
Company
Knowledge

ClickHouse JSON distinct를 검사할 때 객체 경계를 보존하자

객체 경계가 다른 JSON이 distinct에서 합쳐지는지 구조 대조군으로 확인한다. 비교 토큰을 쓴다면 키 순서와 NULL 의미까지 정한 뒤 집계 결과를 수용해야 한다.

값의 나열보다 구조가 먼저다

JSON 동등성은 배열 원소와 객체 경계를 보존해야 한다. 원시 값의 나열만 같다고 같은 문서는 아니다. 운영자가 문서 비교 정책을 정한 뒤 Truthound Core로 구조별 고유 개수를 검사할 수 있다. [1, 2, 3]

서로 다른 구조가 하나로 집계된 보고

ClickHouse #129458은 26.10.2.103의 count(DISTINCT)가 다른 구조의 JSON 두 개를 하나로 센다고 보고한다. GROUP BY 대조와 hash encoding 가능성을 제시했으며 후속 댓글도 조사 상태다. 배포된 수정이 검증됐다는 근거로 쓰지 않는다. [1]

객체 배치만 바꾼 대조군

중첩 배열의 객체 경계만 다른 두 문서를 만들고 원시 JSON과 구조를 보존한 식별자를 남긴다. distinct와 대조 결과를 비교한다. 문자열 토큰을 쓴다면 키 순서, 숫자 표기와 NULL 의미부터 정의한다. [1, 3]

같은 값이어도 문서는 둘이다

첫 x 배열은 {a:1}과 {b:2,c:3}, 둘째는 {a:1,b:2}와 {c:3}을 담는다. 객체 경계가 달라 기대 고유 문서는 2개다. 2는 통과하고 1은 구조를 합쳐 실패한다. 입력 행이 둘이라는 이유만으로 정한 답이 아니다. [1, 3]

구조 토큰의 신뢰성도 입력 조건이다

Truthound Core Python SDK 3.3.2의 DistinctCountValidator는 열의 고유 개수를 min_count·max_count와 대조한다. 독립적으로 준비한 구조 토큰이 의도한 동등성을 표현해야 한다. SDK는 ClickHouse JSON 내부를 해석하거나 hashing을 고치지 않는다. [1, 2, 3]

hash에 앞서는 구조 비교

구조를 보존한 parser를 비교 기준으로 두고 hash는 최적화로 다룰 수 있다. 정규화 자체가 객체 소속과 배열 순서를 유지하는지 확인한다. 필드 총수가 같다는 이유로 다른 문서에 같은 토큰을 주면 기준부터 잘못된다. [1, 3]

distinct 지표를 보류할 조건

이 대조군이 하나로 합쳐지면 distinct 기반 지표를 보류한다. 여기서 기준은 두 구조의 차이다. 개수가 맞아도 다른 동등성 경계가 모두 검증된 것은 아니므로 그 범위까지 확대하지 않는다. [1, 3]

적용 조건

객체 경계를 보존한 독립 JSON 식별자와 비교 정책을 준비한다.

대안

구조 parser를 기준으로 두고 hash만으로 동등성을 승인하지 않는다.

한계

  • distinct count는 준비한 토큰을 검사하며 ClickHouse hashing을 고치지 않는다.

근거

사건 확인일
대상 확인일
수정일