Debezium IBM i 초기 적재: CDC가 읽는 모든 member를 snapshot도 읽었을까?
member별 원본과 snapshot을 따로 대사해야 최초 적재 범위가 드러난다. 행 수 일치 뒤에도 키 집합과 중복을 확인한다.
변경 수신이 가리는 과거의 빈칸
IBM i의 두 번째 member에서 새 변경이 도착해도 그 안의 과거 자료까지 적재됐다고 볼 수는 없다. 변경 스트림의 범위와 최초 snapshot의 member 범위를 따로 대조해야 한다. Truthound를 붙일 지점도 이 구분 뒤다. 전체 수신량을 한 번 세기보다 member별 원본과 착지 결과를 비교해야 빠진 초기 범위를 찾을 수 있다. [1, 2, 3]
서로 다른 두 읽기 경로
Debezium #2994는 incubating IBM i connector에서 snapshot의 SQL 이름 해석은 첫 member를 선택하지만 journal을 읽는 streaming은 모든 member를 포함하는 비대칭을 설명한다. 공개 제보에는 완전한 실행 로그가 첨부되지 않았다. 따라서 이 설명을 모든 IBM i 설치에서 확인된 장애나 특정 릴리스의 수정 완료로 확대하지 않는다. [1]
member를 잃지 않는 대사표
먼저 파일과 member 목록을 확정하고 원본을 비교할 기준시각을 고정한다. snapshot 행에는 member와 원본 키를 남기며, 이후 CDC 행은 별도로 집계한다. member별 원본 행 수와 snapshot 착지 행 수를 대조하고, 누락 member의 승인된 별도 추출이 끝날 때까지 초기 적재 완료를 보류한다. [1, 3]
네 행이 뜻하는 것
설명용 파일에서 M1에 3행, M2에 4행을 넣고 변경을 중단했다고 하자. M2의 기대 행 수는 원본 배치에서 정한 4다. snapshot에도 4행이 있으면 행 수 조건은 충족하지만 동일한 키 4개인지와 중복 여부를 더 확인해야 한다. M2가 0행이면 M1의 성공이나 나중에 도착한 CDC로 보완됐다고 처리하지 않는다. 이는 정의한 대사 예시이며 connector 실행 결과가 아니다. [1, 3]
Truthound에 맡길 수 있는 검사
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 준비한 source_member_rows와 snapshot_member_rows를 relationship="=="로 비교할 수 있다. 누락된 집계 행은 외부 조인으로 드러내고, 실제로 비어 있음을 확인한 경우에만 0을 기록한다. null인 관측을 0으로 추측하면 미확인 상태를 실패나 성공으로 잘못 바꾼다. 키 집합의 차이와 중복도 별도 산출해 확인한다. [1, 2, 3]
누락 범위를 좁혀 복구하기
복구 후보는 DBA가 검증한 member별 alias와 명시적 UNION ALL 추출이다. 전체 snapshot을 무작정 반복하기 전에 누락 member만 읽는 경로와 동일 기준시각의 키 대사를 시험한다. 단일 member 파일이나 모든 member를 포함하도록 승인한 별도 쿼리에는 같은 누락 가정을 그대로 적용하지 않는다. [1, 3]
적재 승인의 마지막 경계
Truthound가 member를 열거하거나 SQL alias를 만들지는 않는다. 이 구성은 Core SDK에 준비한 표를 전달하는 검사이며 Local MCP가 임의 규칙을 대신 실행한다는 뜻도 아니다. 초기 범위 승인은 행 수, 원본 키, 중복, 기준시각이 함께 맞을 때 내린다. 비교에 필요한 원본을 확보하지 못했다면 완료 대신 확인이 필요한 범위를 남긴다. [1, 3]
적용 조건
member 목록과 원본 기준시각을 확정하고 snapshot 행을 이후 CDC 행과 구별해 집계한다.
대안
DBA가 검증한 member별 alias와 명시적 UNION ALL 추출을 별도 시험한다.
한계
Truthound는 IBM i member를 열거하거나 SQL alias를 만들지 않으며 incubating connector의 운영 적합성을 인증하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
