MySQL 정수 default: 맞는 raw row가 잘못된 schema를 가릴 때
raw row와 schema default를 별도로 대사해야 한다. 기본값을 채우는 소비는 원천의 정수 변환 결과와 schema 값이 맞은 뒤 승인한다.
값과 기본값을 나눠 읽기
raw row와 schema default를 별도로 대사해야 한다. 기본값을 채우는 소비는 원천의 정수 변환 결과와 schema 값이 맞은 뒤 승인한다. Truthound에 전달할 검증표에서 이 두 열을 합쳐 버리면 바로 이 차이를 지운다. 값이 이미 채워진 행의 성공과 새 소비자가 사용할 기본값의 정확성을 다른 인수 항목으로 둔다. [1, 2, 3]
보고가 측정한 범위
Debezium #2763은 MySQL 정수 schema default의 큰 정수 정밀도와 음수 분수 반올림 차이를 보고한다. 실제 raw row는 맞았으며 최신 정식판과 Kafka sink는 시험하지 않았다. 큰 정수 사례는 signed 범위 안이며 unsigned overflow를 전제로 하지 않는다. BIT 수정 뒤에도 나타난 별도 정수 경로라는 환경을 유지한다. [1]
세 경로를 대조하기
큰 정수와 음수 분수의 snapshot·DDL 경로를 나눠 대조하고, 틀린 schema default로 누락 필드를 채우는 소비를 보류한다. 원천 SQL 결과, getWithoutDefault로 얻은 raw row, schema default를 같은 열·DDL 단계로 묶는다. 큰 수는 float를 거치지 않는 십진 문자열로 보존한다. [1, 3]
음수 동률의 기대값
설명용 INT 기본값 -1.5에 대해 원천 적용 규칙을 음수의 동률에서 -2로 정한다. 기대 십진 문자열은 -2이며 schema 경로의 -1은 실패다. schema 값 -2는 정한 반올림 조건을 지키지만 -1은 실패다. 이 합성 비교는 실제 upstream 실행을 새로 수행했다는 뜻이 아니다. [1, 3]
정확 표현을 비교하는 SDK
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 mysql_applied_decimal과 schema_default_decimal을 relationship="=="로 비교할 수 있다. 운영자가 타입과 default 적용 결과를 먼저 확정하고 두 값을 비결측 문자열로 준비한다. SDK는 MySQL 반올림이나 Debezium parser를 고치지 않으며 raw row가 맞았다는 보고를 sink 손실로 바꾸지 않는다. [1, 2, 3]
기본값을 쓰는 소비부터
수정본에서 세 경로의 default를 다시 대조하거나 소비자가 모든 값을 명시하도록 바꾸는 대안이 있다. 모든 필드를 원래부터 제공하고 schema default를 쓰지 않는 소비는 영향 경로가 다르다. 배포 판단은 기본값의 실제 사용처를 조사한 뒤 내린다. [1, 3]
적용 조건
원천 SQL 결과와 getWithoutDefault로 읽은 raw row를 schema default와 분리하고 큰 정수를 float로 전처리하지 않는다.
대안
확인한 수정본으로 기본값 경로를 시험하거나 소비자에서 schema default에 의존하지 않는 명시적 입력을 사용한다.
한계
Truthound는 MySQL의 반올림이나 Debezium default parser를 수정하지 않는다. raw row가 맞은 보고를 실제 sink 데이터 손실로 확대하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
