ClickHouse 분산 쿼리의 샤드 누락: DNS보다 실제 응답 서버를 확인하자
연결과 쿼리가 성공해도 같은 샤드를 중복으로 읽으면 전체 집계는 틀릴 수 있다.
성공 응답의 출처를 묻기
분산 조회의 성공 여부와 실제 참여 샤드의 식별자 커버리지는 별도 검사다. 서버가 정상적으로 응답했다는 사실만으로 계획한 샤드가 참여했다고 볼 수 없다. Truthound를 사용하려면 응답 값 외에 서버 정체성을 담은 실행 감사 자료가 필요하다. [1, 2, 3]
IP 재사용 뒤 남은 연결
ClickHouse 공개 보고는 Kubernetes 재시작으로 이전 IP가 다른 샤드에 재사용될 때 DNS 캐시와 native connection pool의 상호작용으로 잘못된 샤드 연결이 남는 사례를 설명한다. 같은 사용자와 cluster secret을 공유하는 서버라 연결 자체는 성공할 수 있다. 정상으로 보이는 DNS 표시만으로 기존 연결의 실제 상대를 판단할 수 없다는 관측이다. [1]
계획과 참여 집합을 연결하기
배포 전후에 예상 샤드 집합과 각 응답의 서버 식별자를 수집하고, 누락·중복 샤드가 있으면 집계 결과를 승인하지 않는다. 서버 식별자는 hostname 문자열만이 아니라 실제 인스턴스와 샤드의 매핑으로 확인한다. 재시도와 복제본 전환이 허용되는 범위도 실행 기록에 남긴다. [1, 3]
응답 횟수와 고유 참여 수
설명용 계획이 서로 다른 3개 샤드를 요구한다면 고유 참여 수 3은 필요한 조건을 만족한다. 고유 참여 수가 2이면 한 서버가 반복 응답했어도 실패다. 다만 개수만 3인 다른 집합도 틀릴 수 있으므로 최종 판정은 승인된 샤드 집합의 실제 구성원까지 비교해야 한다. [1, 3]
집합 검사 다음의 조치
Truthound Core의 DistinctValuesEqualSetValidator로 수집한 참여 샤드 집합과 승인 집합을 대조할 수 있다. 반복 응답 횟수는 집합과 별도로 기록한다. 검사는 DNS나 연결 풀을 비우지 않으며 인증 설정을 대체하지 않는다. 운영자는 실제 상대를 확인한 뒤 연결 갱신 절차를 선택하고, 수정 후 같은 분산 조회의 출처 커버리지를 다시 확인해야 한다. [1, 2, 3]
적용 조건
query_run별 승인 샤드 집합과 실제 responding server의 인스턴스·샤드 매핑을 수집해 같은 분산 실행에 연결한다.
대안
실제 서버 식별자를 확인한 뒤 연결 풀과 DNS 상태를 운영 절차에 따라 갱신한다.
한계
서버 식별자 수집은 운영 조회가 담당한다. Truthound가 DNS나 연결 풀을 비우지 않으며 TLS 설정을 대체하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
