Airbyte Postgres Xmin bookmark: 늦게 commit한 행을 건너뛰지 않는 경계
가장 큰 발급 transaction 번호와 아직 보이지 않는 오래된 transaction의 경계를 구분해야 한다.
성공한 증분 작업의 숨은 빈틈
증분 경계는 발급된 가장 큰 트랜잭션 번호와 아직 보이지 않는 가장 오래된 트랜잭션을 구분해야 한다. Truthound로 저장 bookmark 숫자가 증가하는지만 검사하면 나중에 commit할 행이 경계 뒤에 남는 문제를 놓칠 수 있다. [1, 2, 3]
열려 있던 transaction의 늦은 도착
Airbyte Postgres 공개 보고는 primary에서 Xmin 동기화의 bookmark가 아직 열린 transaction보다 앞서 저장될 수 있다고 설명한다. 뒤늦게 commit한 낮은 xmin 행을 다음 실행에서도 건너뛸 수 있으며, 작업은 성공으로 끝날 수 있다는 내용이다. CTID 페이지 이동 문제와는 다른 증분 경계 문제다. [1]
bookmark와 안전 경계를 함께 기록하기
bookmark와 관측 당시 oldest-active 경계를 함께 기록하고 늦은 commit 대조군으로 다음 실행의 키 커버리지를 확인한다. transaction 번호의 epoch와 wraparound 처리도 확인해야 한다. 서로 다른 epoch의 정수를 단순 비교해 안전성을 판단하지 않는다. [1, 3]
동일 epoch의 합성 예
설명용으로 같은 epoch에서 안전한 저장 상한을 990으로 정했다면 bookmark 990은 통과하고 1000은 실패한다. 기대 상한은 관측한 가장 큰 번호가 아니라 아직 도착하지 않은 transaction을 고려한 정책에서 나온다. 이 숫자 예제가 실제 connector의 모든 경계 포함 규칙을 대신하지는 않는다. [1, 3]
Truthound의 비교와 운영 선택
Truthound Core의 ColumnPairValidator로 준비한 bookmark와 승인 안전 경계의 순서 관계를 확인할 수 있다. 실제 snapshot 취득과 경계 함수 선택은 지원 버전의 connector 정책을 따라야 한다. Truthound가 Postgres snapshot을 만들거나 Airbyte state를 고치지 않는다. 수정 경로를 선택한 뒤에는 늦은 commit 키가 다음 동기화에 실제로 포함되는지 다시 검사한다. [1, 2, 3]
적용 조건
같은 epoch·sync_id의 saved_bookmark와 oldest_active_xid를 기록하고 늦은 commit 키의 후속 도착을 독립 원본과 대조한다.
대안
지원 버전의 안전한 Xmin bookmark 정책을 확인하고 늦은 commit 대조를 실행한다.
한계
Truthound는 Postgres snapshot을 취하거나 Airbyte state를 자동 수정하지 않는다. 관련 함수 선택은 지원 버전과 connector 구현을 확인해야 한다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
