pandas json_normalize의 결측 목록 원소: 삭제 전 원본 위치 보존
실패를 피하려고 빈 항목을 삭제하기 전에 그 항목이 관측 누락인지 단순 포장인지 결정해야 한다.
pandas json_normalize의 결측 목록 원소: 삭제 전 원본 위치 보존
목록에서 레코드가 없는 위치를 지우면 뒤에 있는 레코드의 순서 의미까지 바뀔 수 있다. 정규화할 유효 객체만 고르는 작업과 전체 입력 목록을 설명하는 작업은 목적이 다르다. 제외한 원소를 원본 위치 원장에 남겨야 누락과 재번호 부여를 구별할 수 있다. [1, 2, 3]
공개 원문이 보여 준 범위
pandas 버전 변경 뒤 top-level에 NaN을 포함한 목록의 json_normalize가 TypeError를 내기 시작했다는 보고다. 이는 모든 결측 필드를 금지했다는 뜻이 아니라 목록 원소가 dict가 아닌 경우의 계약 차이다. [1]
입력과 출력에서 확인할 관계
원본 목록의 위치와 레코드가 없는 이유를 남긴 뒤 승인한 레코드만 정규화한다. source_position, record_kind, admitted_record_id를 가진 원장은 전체 입력 목록을 설명해야 한다. 제외한 슬롯의 기록도 남아 있으면 다음 관측값을 앞당겨 번호를 매긴 결과와 원래 순서의 보존을 구분할 수 있다. [1, 3]
승인 기준과 실패 사례
설명용 목록은 A, 결측 원소, B로 구성된다. 가운데 슬롯의 존재는 그 안에 유효한 필드가 있는지와 다른 문제다. 정규화에서는 제외하더라도 위치 원장에서 상태는 present로 남아야 하며 슬롯 자체가 absent가 되면 보존 계약을 충족하지 못한다. 이 자리에 임의 사건 ID를 만들어 넣는 것도 사라진 근거를 복원하는 방법은 아니다. [1, 3]
Truthound를 연결하는 검사 경계
Truthound Core 3.3.2의 ColumnPairValidator로 원천 위치별 기대 존재 상태와 원장 상태를 비교할 수 있다. 실제 레코드의 결측값을 정상값으로 채우는 검사는 아니다. 위치를 새로 매기기 전에 원본 위치 목록을 보존해야 누락된 슬롯도 대조 대상에 남는다. [1, 2, 3]
다른 선택이 필요한 조건
결측 슬롯의 사람·사건 식별자를 원문에 없는 값으로 만들어서는 안 된다. 원본 목록과 유효 레코드 표를 분리하고 제외 사유를 별도 기록한다. 공급자가 빈 항목을 의미 없는 포장으로 명시하고 순서도 계약에 없으면 위치 보존의 필요성이 달라진다. [1, 3]
적용 조건
source_position, record_kind, admitted_record_id 대응표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.
대안
원본 목록과 유효 레코드 표를 분리하고 제외 사유를 별도 기록한다.
한계
결측 슬롯의 사람·사건 식별자를 원문에 없는 값으로 만들어서는 안 된다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
