pandas Unicode 숫자 구분자: 숫자로 바뀐 값보다 원시 토큰을 확인하기
국제화 설정은 표시 옵션에 그치지 않으므로 원시 토큰과 해독에 사용한 실제 구분자를 보존해야 한다.
pandas Unicode 숫자 구분자: 숫자로 바뀐 값보다 원시 토큰을 확인하기
구분자 설정을 바꾼 뒤 숫자형 열이 만들어졌다는 사실만으로 금액 해석이 맞다고 볼 수는 없다. parser가 다른 문자를 구분자로 소비하면 원시 토큰의 의미가 사라진 채 그럴듯한 숫자만 남을 수 있다. 변환 성공보다 어떤 문자 규칙으로 읽었는지를 확인해야 한다. [1, 2, 3]
공개 원문이 보여 준 범위
pandas C parser에서 Unicode thousands·decimal 문자가 한 바이트로 좁혀지면서 슬래시나 k가 숫자 구분자로 처리됐다는 보고다. 작성자는 안정판 실행과 main 코드 확인을 구분했고 main 재현 실행은 하지 않았다고 밝혔다. [1]
입력과 출력에서 확인할 관계
입력 언어권마다 허용할 구분자를 먼저 승인한다. 허용하지 않은 구분자를 소비해 만든 숫자는 원문을 다시 읽기 전까지 과거 금액 계열에 합치지 않는다. raw_token과 configured_separator, normalized_token, parse_status를 함께 남겨야 그럴듯한 숫자만 보고 다른 해석을 승인하는 일을 막을 수 있다. [1, 3]
승인 기준과 실패 사례
설명용 입력은 1/234이고 허용한 천 단위 구분자는 좁은 공백뿐이다. 이 계약에서 기대 상태는 unparsed이다. 슬래시를 제거해 numeric 상태로 넘기면 입력에 없던 구분 의미를 적용한 것이다. 모든 슬래시 표기를 금지한다는 뜻은 아니며 다른 업무가 슬래시를 승인했다면 그 입력은 별도의 계약으로 판단한다. [1, 3]
Truthound를 연결하는 검사 경계
Truthound Core 3.3.2의 ColumnPairValidator는 승인한 parse_status와 실제 변환 상태를 비교하는 경계에 사용할 수 있다. 원시 문자열을 보존한 전처리기가 구분자를 해석하고 상태를 만든 뒤 검증한다. 숫자로 바뀐 값만 남기면 잘못 소비된 구분자를 이 검사에서 복원할 수 없다. [1, 2, 3]
다른 선택이 필요한 조건
원문만으로 모든 pandas 버전이나 모든 Unicode 구분자가 영향받는다고 확대할 수 없다. 문자열로 먼저 읽고 승인한 locale 규칙으로 별도 숫자 변환을 수행한다. 원천 계약이 슬래시를 실제 천 단위 구분자로 허용한다면 이 특정 반례는 거절 대상이 아니다. [1, 3]
적용 조건
raw_token, configured_separator, normalized_token, parse_status 표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.
대안
문자열로 먼저 읽고 승인한 locale 규칙으로 별도 숫자 변환을 수행한다.
한계
원문만으로 모든 pandas 버전이나 모든 Unicode 구분자가 영향받는다고 확대할 수 없다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
