Styxis
Company
Knowledge

Airbyte MySQL→ClickHouse 타입 오류: 정정된 CDC selectedFields 원인부터 확인하기

날짜 열 변환을 고치기 전에 CDC 시스템 필드와 전송 schema가 맞는지 확인해야 한다.

처음의 진단을 그대로 유지하지 않기

오류 메시지가 가리키는 열만 고치기 전에 전송 스키마와 선택 필드 전체의 정렬 계약을 확인해야 한다. Truthound를 사용하는 목적도 실패한 열 하나의 형식을 바꾸는 것이 아니라 실제 전달 필드와 승인 schema의 대응을 검증하는 데 있다. [1, 2, 3]

보고자가 정정한 원인

Airbyte 공개 이슈의 작성자는 처음에 DATETIME과 숫자 VARCHAR를 원인으로 지목했지만 이후 잘못된 진단이라고 정정했다. CDC 소스의 selectedFields에서 다섯 ab_cdc* 시스템 필드를 제외한 설정이 문제였고, 같은 connector 버전에서 이 필드를 포함하면 성공했다고 설명한다. 코드 경로의 원인은 증상에 근거한 추론이라고도 구분한다. [1]

설정 생성 시 빠짐을 막기

설정 생성 시 CDC 필수 열 포함 여부를 검사하고, 원본 보고의 정정된 원인을 기준으로 전송 필드와 목적 스키마를 재대조한다. 실제 열 순서와 타입까지 함께 기록해야 개수만 맞는 잘못된 배열을 놓치지 않는다. API가 설정을 수용했다는 사실을 데이터 계약 승인으로 사용하지 않는다. [1, 3]

존재 개수와 정체성은 함께 본다

설명용 계약이 지정한 시스템 열 5개를 모두 요구한다면 선택된 개수 5는 필요한 조건을 만족하고 0은 실패한다. 임의의 다른 열 5개로 채워도 통과한다는 뜻은 아니다. 기대 이름 집합을 원본 CDC 계약에서 가져와 실제 이름과 대조해야 한다. [1, 3]

Truthound가 맡을 검사

Truthound Core의 ColumnExistsValidator로 준비한 전송 표의 필수 시스템 열을 확인할 수 있다. 순서·타입 검사는 별도 조건으로 붙인다. 이 기능은 Airbyte 설정을 자동 수정하거나 이미 어긋난 Protobuf 값을 복구하지 않는다. 정정 보고의 성공 설정을 대조군으로 사용하되 과거 DATETIME 추정을 해결책처럼 반복하지 않는다. [1, 2, 3]

적용 조건

동일 CDC 실행의 selectedFields·실제 전송 필드 순서·목적 schema를 보존하고 필수 시스템 열 계약과 비교한다.

대안

정정 보고에서 성공한 CDC 시스템 필드 포함 설정을 복제해 대조한다.

한계

  • Truthound가 Airbyte API 설정을 자동 수정하거나 잘못 정렬된 Protobuf 값을 복구하지 않는다. 과거 DATETIME 원인 추정은 유지하지 않는다.

근거

사건 확인일
대상 확인일
수정일