Airbyte MySQL 복합 키 snapshot: 첫 키 그룹의 누락을 검사하기
동시 partition의 첫 경계가 exclusive라면 작업 성공과 무관하게 최솟값 묶음이 빠질 수 있다.
전체 개수만 보면 위치를 잃는다
분할 추출의 첫 경계는 전체 개수뿐 아니라 경계 키 묶음의 포함 여부로 검사해야 한다. Truthound로 최종 총량만 비교해도 부족함은 알 수 있지만, 어느 partition의 어떤 키가 빠졌는지는 경계 계약이 있어야 설명할 수 있다. [1, 2, 3]
최솟값 prefix가 빠진 재현
Airbyte MySQL 공개 보고는 복합 기본 키를 가진 표의 concurrent snapshot에서 첫 기본 키 열의 최솟값을 공유하는 행들이 누락되는 사례를 제시한다. 첫 lower bound가 exclusive여서 생기는 문제로 설명하며 동기화 자체는 성공할 수 있다. 단일 열 키에서의 성공을 복합 키에도 그대로 적용하지 않는다. [1]
첫 그룹의 독립 개수
설명용 원본 snapshot에서 최소 prefix 그룹에 100행이 있다고 직접 집계했다면 추출 결과에도 그 그룹 100행이 있어야 한다. 추출한 최소 prefix 그룹이 100행이면 승인된 경계 그룹의 개수를 보존한다. 그 그룹이 0행이면 첫 partition에서 포함해야 할 범위를 빠뜨린 것이다. 전체 표의 다른 그룹이 늘었다고 빠진 첫 그룹을 상쇄할 수 없다. [1, 3]
Truthound의 그룹별 검사
partition별 최소 키와 포함 정책을 기록하고, 첫 키 그룹의 실제 행 수를 원본과 대조한다. 단일 열 키의 성공을 복합 키로 일반화하지 않는다. Truthound Core의 QueryGroupAggregateValidator로 수집 결과를 경계 그룹별 집계하고 승인된 기대 그룹도 존재하는지 확인할 수 있다. 원본과 결과의 snapshot 시점을 맞추는 작업과 connector의 WHERE 생성 수정은 별도 책임이다. [1, 2, 3]
적용 조건
같은 원본 snapshot에서 partition_id·lower_prefix_key·included_min_group_rows를 구하고 첫 경계의 포함 정책을 결과와 연결한다.
대안
첫 partition의 포함 경계를 명시적으로 대조하는 snapshot 실행을 준비한다.
한계
Truthound는 connector의 WHERE 경계 생성기를 변경하지 않는다. 원본과 추출의 snapshot 시점이 먼저 맞아야 한다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
