Styxis
Company
Knowledge

pandas read_json의 큰 정수 오류: 계산값과 식별자 보존 계약 나누기

큰 정수가 식별자·정확한 계수·시각 중 무엇인지 먼저 정해야 파싱 성공을 위해 의미를 줄이는 선택을 피할 수 있다.

pandas read_json의 큰 정수 오류: 계산값과 식별자 보존 계약 나누기

큰 정수를 읽지 못한 오류 앞에서 가장 먼저 정할 것은 이 필드로 계산할지, 원래 표기를 식별자로 보존할지다. 다른 parser가 파일을 읽었다고 해서 그 선택까지 대신해 주지는 않는다. 필요한 용도를 정해야 정밀도와 교환 표현의 승인 기준을 세울 수 있다. [1, 2, 3]

공개 원문이 보여 준 범위

read_json이 매우 큰 정수에서 Value is too big 오류를 내지만 Python json.load 후 DataFrame을 만드는 경로는 동작한다는 보고다. 제보된 환경 표기는 구체적인 패치 버전까지 확정하지 않는다. [1]

입력과 출력에서 확인할 관계

필드 소유자가 필요한 정확도와 용도를 먼저 정한다. 계산하지 않는 식별자라면 십진 문자열로 보존하는 경로를 선택하고 원문과 자릿수를 대사한다. raw_decimal, admitted_decimal, field_purpose를 함께 기록해야 표를 만드는 데 성공했다는 이유로 값의 의미까지 보존됐다고 판단하지 않는다. [1, 3]

승인 기준과 실패 사례

설명용 계약은 정확한 십진 텍스트를 요구하므로 1000000000000000000000000을 그대로 보존한다. 같은 수학적 값을 나타낼 수 있더라도 1e24는 이 문자열 계약에서 승인한 표현이 아니다. 수치 계산용 필드는 다른 선택을 할 수 있다. 어느 표현이 적합한지는 parser의 성공 여부가 아니라 비교 전에 합의한 필드 용도로 결정한다. [1, 3]

Truthound를 연결하는 검사 경계

Truthound Core 3.3.2의 ColumnPairValidator는 정확한 십진 문자열로 준비한 원문과 승인 표현을 비교할 수 있다. 문자열을 float로 바꾼 뒤 다시 문자열로 만드는 전처리는 이 목적에 맞지 않는다. 입력 parser 선택이나 임의 정밀도 산술은 검사기 밖에서 검증해야 한다. [1, 2, 3]

다른 선택이 필요한 조건

문자열 동일성이 수치 연산의 정확성을 증명하지 않으며 모든 큰 정수를 문자열로 바꿔야 하는 것도 아니다. 임의 정밀도 파서로 읽은 뒤 업무 타입을 명시하고 원시 표현을 별도로 보관한다. 소비자가 근삿값만 요구하고 과학적 표기를 허용하면 원문 문자열 동일성은 과도한 조건이다. [1, 3]

적용 조건

raw_decimal, admitted_decimal, field_purpose 대응표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.

대안

임의 정밀도 파서로 읽은 뒤 업무 타입을 명시하고 원시 표현을 별도로 보관한다.

한계

  • 문자열 동일성이 수치 연산의 정확성을 증명하지 않으며 모든 큰 정수를 문자열로 바꿔야 하는 것도 아니다.

근거

사건 확인일
대상 확인일
수정일