Styxis
Company
Knowledge

Polars 소수 콤마 CSV: 실제 파일에서 행별 과학적 토큰을 대사하기

출력 행마다 원래 수치에 대응하는 전체 토큰을 대사해야 writer buffer의 이전 행 누적을 형식상 문자열로 승인하지 않는다.

원래 표와 실제 파일은 다르다

출력 행마다 원래 수치에 대응하는 전체 토큰을 대사해야 writer buffer의 이전 행 누적을 형식상 문자열로 승인하지 않는다. Truthound에는 메모리에 남은 원래 표 대신 실제 내보낸 token을 가져온다. 행 수가 맞는 파일도 이전 행의 문자열이 붙으면 다른 수치를 전달한다. [1, 2, 3]

함께 켠 두 출력 옵션

Polars #29641은 decimal_comma·float_scientific CSV writer가 이전 행 문자열을 다음 행 앞에 누적하는 재현을 보고한다. 보고는 decimal_comma와 float_scientific를 함께 켠 경로 및 실제 파일 예를 제시한다. 모든 locale·CSV 소비자가 같은 문법을 받는다는 보증으로 확대하지 않는다. [1]

행 ID로 파일을 다시 읽기

내보내기 담당자는 separator·decimal·scientific 설정과 원래 row_id를 보존하고 최종 CSV를 읽어 행별 토큰을 비교한다. 누적 문자열은 배포하지 않고 검증한 포맷 대안을 선택한다. 출력 separator·decimal·scientific 옵션과 locale를 고정하고 파일 bytes에서 token을 추출한다. row_id를 유지해 같은 숫자 집합이 다른 행에 붙는 경우도 구별한다. [1, 3]

둘째 행 token의 기준

설명용 입력은 [1.5,2.5,3.5]이고 소수 콤마·과학적 표기를 쓰며 구분자는 ;다. 둘째 행의 기대 토큰은 2,5e0이며 이전 1,5e0가 붙은 값은 다른 숫자 문자열이다. 2,5e0는 둘째 행 조건을 충족한다. 1,5e02,5e0는 실패이며 delimiter로 잘라 이전 문자열을 버리는 임의 복구를 정상 포맷으로 승인하지 않는다. [1, 3]

독립 포맷과 직렬화 출력 대조

Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 independently_formatted_token과 serialized_numeric_token을 relationship="=="로 비교한다. 운영자가 승인 포맷으로 독립 문자열을 만들고 실제 파일의 quoting·separator를 해독한다. SDK는 CSV writer를 고치거나 모든 parser의 호환성을 보증하지 않는다. [1, 2, 3]

소비자와 정할 포맷 대안

소비자와 합의한 비과학적 표기나 다른 소수점 포맷을 검증하고 실제 파일을 재파싱해 값·row ID를 대사한다. 포맷 변경은 소수 콤마를 요구하는 이용자의 계약과 함께 정한다. 같은 최종 출력이 이미 검증돼 있으면 해당 근거를 다시 사용한다. [1, 3]

적용 조건

정확한 출력 옵션과 locale를 고정하고 캐시된 표가 아니라 실제 파일 바이트에서 토큰을 추출한다.

대안

검증한 비과학적 표기 또는 소수점 포맷 경로를 소비자와 합의하고 실제 파일을 재파싱해 값·행 ID를 확인한다.

한계

  • Core는 외부에서 추출한 토큰 쌍을 비교하며 CSV writer를 수정하거나 모든 숫자 parser의 호환성을 보증하지 않는다.

근거

사건 확인일
대상 확인일
수정일