Styxis
Company
Knowledge

Airbyte MariaDB CDC 재시작 실패: offset에 필요한 TableMap 문맥 확인하기

재개 위치는 증가하는 숫자 하나가 아니라 이벤트를 해석할 문맥을 다시 읽을 수 있는 경계다.

offset의 의미를 보존하기

재개 위치는 단순 증가 숫자가 아니라 필요한 문맥을 다시 읽을 수 있는 이벤트 경계여야 한다. Truthound에 파일 이름과 위치만 주더라도 그 위치에서 무엇을 해독할 수 있는지는 알 수 없다. 필요한 문맥 위치를 별도 binlog 도구로 확인해야 한다. [1, 2, 3]

성공한 실행 뒤 반복된 실패

Airbyte 공개 보고는 MySQL connector로 MariaDB를 읽은 뒤 다음 CDC 실행에서 TableMap을 찾지 못하는 오류를 제시한다. 저장 offset이 여러 row event로 나뉜 문장 내부를 가리킬 수 있다는 설명은 보고자의 원인 추정이며 코드 경로를 확인한 확정 분석과 구분된다. 자동으로 offset을 뒤로 돌리라는 근거로 사용할 수 없다. [1]

동일 파일의 합성 경계

설명용 binlog 파일에서 재해독에 필요한 문맥 위치를 100으로 정의하면 재개 위치 100은 이 조건을 만족하고 140은 앞선 문맥을 놓쳐 실패한다. 파일이 바뀌면 이 숫자를 직접 비교할 수 없다. 실제 안전한 위치는 transaction·TableMap·event skip 정책을 함께 확인해 결정해야 한다. [1, 3]

Truthound가 확인할 감사 관계

실패 offset·transaction 시작·TableMap 위치를 승인된 binlog 도구로 대조하고, 복구 후 재전달된 키의 중복과 삭제 반영을 검사한다. Truthound Core의 ColumnPairValidator로 같은 파일의 재개 위치와 필요한 문맥 경계를 비교할 수 있다. 이는 state 수정이나 binlog 복구가 아니다. 보존본과 중복 처리 정책을 갖춘 운영 절차로 재개한 뒤 업무 효과를 별도로 검증한다. [1, 2, 3]

적용 조건

같은 binlog_file의 restart_position·required_context_position과 transaction·TableMap 위치를 승인 도구로 확인하고 복구 키를 연결한다.

대안

보존된 binlog와 state로 필요한 문맥을 다시 읽는 지원 복구 절차를 검증한다.

한계

  • Truthound가 offset을 임의로 되돌리거나 binlog를 복구하지 않는다. 실제 state 수정은 보존본·중복 정책을 갖춘 운영 절차가 필요하다.

근거

사건 확인일
대상 확인일
수정일