Doris MySQL CDC snapshot: INVISIBLE 기본 키가 실제 추출에 포함되는가
원본 schema에 키가 있다는 사실과 SELECT 결과에 그 키가 있다는 사실은 다르다.
선언된 키와 전달된 키
기본 키의 존재와 실제 추출 결과에 그 키가 포함되는지는 다른 조건이다. Truthound를 연결할 검사 위치는 원본 catalog만이 아니라 snapshot의 실제 열 목록이다. 필수 키를 받지 못한 결과로 이후 변경 이벤트를 연결할 수 있다고 가정해서는 안 된다. [1, 2, 3]
SELECT *가 놓친 INVISIBLE 열
Doris의 MySQL streaming snapshot 공개 보고는 INVISIBLE 기본 키를 가진 표에서 SELECT * 결과와 schema의 열 수가 달라 작업이 중단되는 경우를 제시한다. 목적 표가 만들어졌다는 사실도 snapshot이 완료됐다는 증거는 아니다. 명시적 열 목록을 사용할 수 있는 추출 경로가 필요하다. [1]
키 존재 조건의 합성 사례
설명용 승인 snapshot이 특정 기본 키 열을 필수로 요구한다면 실제 열 목록에 키가 있는 true 상태는 통과하고 없는 false 상태는 실패한다. NULL 키 값이나 중복 키는 별도 조건이다. 여기서의 검사는 열 자체가 전달됐는지를 확인하며, 원본 catalog의 정의를 실제 추출 목록 대신 넣어 통과시켜서는 안 된다. [1, 3]
Truthound와 CDC 등록 절차
CDC 등록 전 스키마에 정의된 키와 실제 snapshot 추출 열을 대조하고, invisible key를 명시적으로 포함할 수 있는 경로만 승인한다. Truthound Core의 ColumnExistsValidator로 수신 표의 필수 열 존재를 확인할 수 있다. 이는 binlog reader 호환성이나 전체 CDC 동작을 보장하지 않고 MySQL 열 가시성도 변경하지 않는다. snapshot 이후의 live 변경 반영은 따로 시험해야 한다. [1, 2, 3]
적용 조건
승인 primary-key 열 목록과 실제 완료 snapshot의 열 목록을 같은 추출 범위에서 대조한다.
대안
SELECT * 대신 승인된 명시적 열 목록을 사용하는 snapshot 경로를 선택한다.
한계
키 열의 존재 검사로 binlog reader 호환성이나 전체 CDC 동작을 보장하지 않는다. Truthound는 MySQL 열 가시성을 바꾸지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
