Styxis
Company
Knowledge

ClickHouse NATS 수집 검사에서 메시지 수와 행 수를 나눠야 하는 이유

메시지 하나가 여러 행을 만들면 수신 성공 횟수만으로 착지 완전성을 알 수 없다.

메시지가 곧 한 행은 아니다

메시지 수와 파싱된 행 수를 같은 단위로 집계하면 다중 행 메시지 누락을 놓친다. Truthound에 연결할 감사 표도 메시지 식별자별 기대 행 수와 실제 착지 행 수를 구분해야 한다. 브로커 수신 건수와 테이블 행 수의 단위를 섞은 비율은 문제를 설명하지 못한다. [1, 2, 3]

정상 메시지의 오류 열 길이

ClickHouse 공개 보고는 NATS stream 오류 처리 모드에서 정상 메시지가 여러 행으로 파싱될 때 가상 오류 열에 기본값이 한 번만 추가되는 경로를 지적한다. 정상 메시지인데도 열 길이가 달라져 목적 테이블에 도달하지 않는 재현이다. 오류 메시지와 정상 다중 행 메시지는 같은 대조군으로 취급할 수 없다. [1]

착지 계약을 메시지별로 묶기

메시지별 예상 행 수와 목적 테이블의 수신 행 수를 연결하고, 정상·오류 메시지 및 다중 행 메시지 대조군을 분리한다. 설명용 메시지가 2개 레코드를 담고 둘 다 유효하다고 정의하면 착지 행 수 2는 통과하고 0은 실패한다. 메시지 한 건을 받았다는 기록은 이 실패를 상쇄하지 않는다. [1, 3]

재전송 전에 필요한 검사

Truthound Core의 ColumnPairValidator로 같은 메시지의 승인 파싱 행 수와 착지 행 수를 비교할 수 있다. 기대값은 수신 테이블을 다시 세서 만들지 말고 보존한 메시지를 독립 파싱해 얻는다. 검사 결과가 실패해도 즉시 재전송하면 기존 처리분이 중복될 수 있으므로 안정적 메시지 키와 재처리 정책을 먼저 확인한다. Truthound는 NATS 전송이나 ClickHouse Chunk 복구를 실행하지 않는다. [1, 2, 3]

적용 조건

보존한 message_id별 원문을 독립 파싱한 expected_rows와 같은 메시지의 landed_rows를 연결한다.

대안

정상 다중 행 메시지와 오류 메시지를 독립적으로 재처리하고 안정적 메시지 키로 대조한다.

한계

  • Truthound가 NATS 메시지를 재전송하거나 ClickHouse Chunk를 복구하지 않는다. 재전송 전에는 보존·중복 처리 정책을 확인해야 한다.

근거

사건 확인일
대상 확인일
수정일