Styxis
Company
Knowledge

pandas Categorical 날짜의 JSON epoch: date_unit 계약 보존

열을 범주형으로 압축해도 외부 교환 단위가 바뀌어서는 안 되며 단위 계약은 값과 함께 검증해야 한다.

pandas Categorical 날짜의 JSON epoch: date_unit 계약 보존

날짜를 담는 내부 컨테이너가 바뀌어도 JSON 소비자가 기대하는 시간 단위는 그대로일 수 있다. 같은 순간을 다른 해상도의 숫자로 기록하면 생산자는 날짜가 맞다고 생각해도 소비자는 다른 시각으로 읽는다. 저장된 날짜값과 인덱스 라벨 모두 외부 단위 계약으로 확인해야 한다. [1, 2, 3]

공개 원문이 보여 준 범위

to_json의 epoch 출력에서 Categorical 뒤의 날짜값은 date_unit을 무시하고 내부 해상도로 기록될 수 있다는 보고다. 같은 원문은 Sparse 날짜의 예외와 ISO 경로의 비영향도 구분했다. [1]

입력과 출력에서 확인할 관계

보관 JSON의 날짜값과 인덱스 라벨을 정규화한 시간 기준에 각각 대사한다. 내부 dtype이 바뀌는 경우에는 과거 재생 소비자가 해석하는 외부 단위도 다시 확인한다. raw_datetime, container_dtype, requested_unit, serialized_epoch를 함께 보관하면 단위가 달라진 지점을 소비자에게 전달할 수 있다. [1, 3]

승인 기준과 실패 사례

설명용 기준 순간은 2020-01-01 UTC이고 초 단위 계약값은 1577836800이다. 같은 필드에 1577836800000000000을 기록했다면 다른 단위에서 같은 순간을 가리킬 수 있다는 이유로 통과시킬 수 없다. 소비자는 이 필드를 초로 해석하기 때문이다. 기대값을 출력의 자릿수로 추측하지 말고 기준 순간과 승인 단위에서 독립적으로 계산해야 한다. [1, 3]

Truthound를 연결하는 검사 경계

Truthound Core 3.3.2의 ColumnPairValidator로 초 단위로 준비한 기준값과 직렬화 값을 대조할 수 있다. 두 열의 단위를 먼저 같게 정하고 큰 정수를 실수로 손실 변환하지 않아야 한다. 시간대 해석과 epoch 생성은 이 비교기에 맡기지 않는다. [1, 2, 3]

다른 선택이 필요한 조건

시간대·달력 해석까지 자동 결정하거나 Sparse 예외를 고치는 검사가 아니다. 명시 단위의 datetime으로 변환 후 직렬화하거나 ISO 출력과 소비자 호환성을 별도로 검증한다. 교환 계약이 실제로 나노초이고 소비자도 같은 단위를 사용한다면 큰 정수 자체가 오류는 아니다. [1, 3]

적용 조건

raw_datetime, container_dtype, requested_unit, serialized_epoch 비교표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.

대안

명시 단위의 datetime으로 변환 후 직렬화하거나 ISO 출력과 소비자 호환성을 별도로 검증한다.

한계

  • 시간대·달력 해석까지 자동 결정하거나 Sparse 예외를 고치는 검사가 아니다.

근거

사건 확인일
대상 확인일
수정일