Airbyte MariaDB CDC 재시작 실패: offset에 필요한 TableMap 문맥 확인하기
재개 위치는 증가하는 숫자 하나가 아니라 이벤트를 해석할 문맥을 다시 읽을 수 있는 경계다.
offset의 의미를 보존하기
재개 위치는 단순 증가 숫자가 아니라 필요한 문맥을 다시 읽을 수 있는 이벤트 경계여야 한다. Truthound에 파일 이름과 위치만 주더라도 그 위치에서 무엇을 해독할 수 있는지는 알 수 없다. 필요한 문맥 위치를 별도 binlog 도구로 확인해야 한다. [1, 2, 3]
성공한 실행 뒤 반복된 실패
Airbyte 공개 보고는 MySQL connector로 MariaDB를 읽은 뒤 다음 CDC 실행에서 TableMap을 찾지 못하는 오류를 제시한다. 저장 offset이 여러 row event로 나뉜 문장 내부를 가리킬 수 있다는 설명은 보고자의 원인 추정이며 코드 경로를 확인한 확정 분석과 구분된다. 자동으로 offset을 뒤로 돌리라는 근거로 사용할 수 없다. [1]
동일 파일의 합성 경계
설명용 binlog 파일에서 재해독에 필요한 문맥 위치를 100으로 정의하면 재개 위치 100은 이 조건을 만족하고 140은 앞선 문맥을 놓쳐 실패한다. 파일이 바뀌면 이 숫자를 직접 비교할 수 없다. 실제 안전한 위치는 transaction·TableMap·event skip 정책을 함께 확인해 결정해야 한다. [1, 3]
Truthound가 확인할 감사 관계
실패 offset·transaction 시작·TableMap 위치를 승인된 binlog 도구로 대조하고, 복구 후 재전달된 키의 중복과 삭제 반영을 검사한다. Truthound Core의 ColumnPairValidator로 같은 파일의 재개 위치와 필요한 문맥 경계를 비교할 수 있다. 이는 state 수정이나 binlog 복구가 아니다. 보존본과 중복 처리 정책을 갖춘 운영 절차로 재개한 뒤 업무 효과를 별도로 검증한다. [1, 2, 3]
적용 조건
같은 binlog_file의 restart_position·required_context_position과 transaction·TableMap 위치를 승인 도구로 확인하고 복구 키를 연결한다.
대안
보존된 binlog와 state로 필요한 문맥을 다시 읽는 지원 복구 절차를 검증한다.
한계
Truthound가 offset을 임의로 되돌리거나 binlog를 복구하지 않는다. 실제 state 수정은 보존본·중복 정책을 갖춘 운영 절차가 필요하다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
