Doris ANALYZE 행 수와 load baseline의 시점을 맞추기
ANALYZE의 COUNT와 load delta가 같은 적재를 겹쳐 세지 않는지 시점과 counter 세대를 맞춘다. 추정치의 경쟁 조건을 실제 저장 행의 중복으로 해석하지 않는다.
수치와 관측 경계를 함께 저장한다
COUNT와 증분 baseline은 같은 가시성 경계를 공유해야 한다. 수치만 저장하면 COUNT에 이미 포함된 적재를 다시 더할 수 있다. Truthound Core는 준비한 fallback 추정치와 시점이 맞는 산술 기준을 대조하는 역할을 맡는다. [1, 2, 3]
행 중복이 아니라 추정치 문제다
Doris #69281의 코드 검토와 후속 분석은 작업 생성 때의 baseline에 더 나중 COUNT를 결합하는 문제를 설명한다. 실제 저장 행 중복을 입증하지 않는다. 기존 통계 record와 아직 성립하지 않은 첫 post-TRUNCATE record의 조건도 구분한다. [1]
COUNT에 포함된 적재부터 판별한다
작업 생성, COUNT 관측, 적용 시각과 각 load counter를 남긴다. COUNT가 본 적재를 파악한 뒤 delta를 계산한다. query snapshot과 counter 표본 사이에 또 적재될 수 있어 query 직후 표본도 정확한 snapshot 정렬의 대체가 아니다. [1, 3]
150을 다시 200으로 만들지 않는다
최초 100행 뒤 50행이 추가되어 COUNT가 150을 본다고 정한다. 같은 경계 baseline=150이면 150+(150-150)=150으로 통과한다. 옛 100을 쓰면 200으로 같은 50을 다시 세어 실패한다. 이 산술 예시는 cluster 실행 결과가 아니다. [1, 3]
counter 세대는 외부에서 맞춘다
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 비결측 fallback 추정치와 독립 기준을 비교할 수 있다. version과 counter 세대의 정렬은 운영자가 제공한다. SDK가 Doris snapshot이나 tablet 통계 보고 시각을 맞추지는 않는다. [1, 2, 3]
수집 모드마다 검증 범위가 다르다
tablet 직접 행 수가 준비된 뒤 대조하고 동시 적재 순서를 회귀 조건으로 남긴다. sampled·partition analysis는 수집 경로가 다르다. 이 산술 witness만으로 그 모드까지 정확하다고 인증하지 않는다. [1, 3]
잘못된 통계를 잘못된 데이터로 부르지 않는다
추정치를 거절하면 바뀌는 것은 planner의 근거다. 이 차이를 운영 보고에도 유지해야 통계 경쟁 조건을 중복 저장이나 query 결과 손상이라는 미확인 주장으로 확대하지 않는다. [1, 3]
적용 조건
COUNT snapshot과 load baseline의 version·counter 세대를 맞춘다.
대안
tablet 직접 count와 실제 collection 모드별 대조를 확보한다.
한계
fallback 추정치 오류를 저장 행 중복으로 보고하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
