Polars Decimal shift 채움값: 1.25가 0.01로 바뀌는 경계를 검사하기
기존 행의 Decimal 정확성과 새 채움 행의 scale 변환은 서로 다른 계약이다.
새로 채운 행을 따로 찾는다
기존 Decimal 행이 정확하다는 사실은 새로 채운 행의 단위를 보장하지 않는다. shift 뒤에는 옮겨 온 값과 새로 만든 값이 섞여 있으므로 전체 열의 자료형만 확인하면 채움 경계의 해석 오류를 놓칠 수 있다. [1, 2, 3]
물리 표현으로 잘못 읽힌 채움값
Polars 이슈 30544는 Decimal shift의 채움값이 정수로 추출된 뒤 scale을 가진 물리 값처럼 읽혀 1.25가 0.01로 들어가는 경우를 보고한다. 원문은 scale 0, 시간 자료형, streaming 경로의 대조를 구분한다. 이 차이는 모든 Decimal 연산의 정확성 문제로 일반화하기보다 새 채움 위치를 좁혀 조사할 근거다. [1]
같은 최소 단위로 비교한다
shift로 새로 생긴 위치를 표시하고 채움 정책의 금액과 실제 금액을 scale이 같은 정수 최소 단위로 비교한다. 원천 Decimal을 float로 바꾸어 비교하면 다른 반올림 오차가 섞일 수 있으므로 선언된 scale과 안전한 변환 경로를 보존한다. [1, 3]
125와 1은 다른 최소 단위 수다
설명용 scale 2에서 채움 금액 1.25는 최소 단위 125다. 새 위치가 125를 나타내면 정상이고 최소 단위 1, 즉 0.01이면 실패다. 기준 125는 채움 정책에서 도출하며 관측한 0.01을 새 정책으로 채택하지 않는다. 원래 옮겨 온 행이 맞더라도 이 새 위치의 실패가 사라지지 않는다. [1, 3]
Truthound는 변환한 대조표를 검사한다
Truthound Core의 ColumnPairValidator로 같은 최소 단위의 기대·관측 열을 비교할 수 있다. 어느 행이 채움으로 생성됐는지와 scale을 운영자가 먼저 지정해야 한다. 이 검사는 Decimal shift 커널을 고치지 않는다. 대체 채움 경로를 선택할 때도 동일한 Decimal 값과 생성 위치를 대조해 별도의 정밀도 손실이 없는지 확인한다. [1, 2, 3]
적용 조건
같은 row_position에서 is_inserted_fill을 표시하고 승인 scale로 계산한 expected_minor_units와 observed_minor_units를 정수로 보존한다.
대안
승인 scale의 Decimal fill 값을 명시적으로 준비한다.
한계
부동소수점으로 변환한 뒤 비교하면 별도 반올림 오차가 섞인다. Truthound는 Decimal shift 커널을 고치지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
