RisingWave CDC 표 이름 충돌: backfill 성공과 live 라우팅을 따로 검증하기
특수문자를 정규화한 topic 이름은 서로 다른 원본 표의 고유 식별자가 아닐 수 있다.
표시 이름을 라우팅 키로 쓸 때
정규화한 이름은 원본 엔터티의 고유 식별자로 쓰기 전에 충돌을 검사해야 한다. Truthound의 허용 짝 검사는 원본 표와 실제 목적지의 관계를 확인하는 데 연결할 수 있다. 이미 정규화된 이름만 보존하면 서로 다른 표가 합쳐진 사실을 복원하기 어렵다. [1, 2, 3]
backfill과 다른 live 경로
RisingWave shared CDC 공개 재현은 Debezium topic 이름의 특수문자가 underscore로 바뀌면서 orders$와 orders_ 같은 표가 같은 라우팅 키로 처리될 수 있다고 설명한다. backfill은 원본 표를 직접 읽어 정상인 반면 live 변경은 섞이거나 빠질 수 있다. 초기 적재 성공이 지속 변경의 출처까지 보장하지 않는다. [1]
충돌을 입력 inventory에서 찾기
원본 표 식별자와 실제 라우팅 키의 전수 매핑을 검사하고, backfill 뒤 live insert·update가 원래 표에만 도달하는 대조군을 만든다. 등록한 표 이름만 제한해도 shared source가 다른 upstream 표를 읽는다면 오염이 남을 수 있다. 소스가 읽는 전체 표 범위를 확인해야 한다. [1, 3]
오배달 개수의 합성 기준
설명용 승인 매핑에서 다른 목적지로 간 원본 표 수는 0이어야 한다. 오목적지로 전달된 원본 표가 0개이면 이 매핑 조건을 만족한다. 1개라도 있으면 그 표의 live 이벤트가 승인되지 않은 목적지를 오염시킨 것이다. 기대 목적지는 수신된 topic 이름에서 다시 추정하지 않고 원본 table identity와 승인 설정에서 가져온다. 같은 primary key가 서로 다른 표에 있어도 원본 표 식별자는 잃지 않는다. [1, 3]
Truthound 이후의 라우팅 수정
Truthound Core의 ColumnPairInSetValidator로 원본 표와 승인 목적지의 허용 짝을 검사할 수 있다. 검사는 CDC router를 교체하지 않는다. 원본 정체성을 보존하는 지원 라우팅 방식을 선택한 뒤 초기 backfill뿐 아니라 live 변경을 재검증한다. 문자 제한 하나만으로 모든 upstream 충돌을 막았다고 주장하지 않는다. [1, 2, 3]
적용 조건
수집 대상 전체의 source_table_id·sanitized_topic·registered_destination을 독립 승인 매핑과 연결하고 실제 live 도착을 확인한다.
대안
정규화 이름 대신 원본 표 정체성을 보존하는 지원 라우팅 방식을 검토한다.
한계
표 이름의 문자 제한만으로 이미 읽히는 다른 upstream 표의 오염을 막는다고 단정하지 않는다. Truthound는 CDC router를 교체하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
