pandas json_normalize의 정수 키: max_level과 출력 경로의 차이
출력 열 이름을 표준화할 때 원천 키의 타입까지 덮어쓰면 역사 자료의 재처리 경로를 잃을 수 있다.
pandas json_normalize의 정수 키: max_level과 출력 경로의 차이
중첩 매핑의 키를 출력 열 이름으로 펼치는 과정에는 조회와 표시라는 서로 다른 일이 섞여 있다. 표시 이름을 문자열로 만드는 것은 가능해도 원래 정수 키를 다른 키로 조회하면 같은 값을 얻을 수 없다. 깊이 제한을 추가할 때 이 두 역할이 함께 바뀌는지 확인할 필요가 있다. [1, 2, 3]
공개 원문이 보여 준 범위
json_normalize가 정수 키를 가진 중첩 매핑을 기본 경로에서는 읽지만 max_level을 지정한 경로에서는 KeyError를 냈다는 보고다. 원문은 정수 meta 인자 문제와 구별하고 원래 키 조회와 문자열 출력명 사용을 분리했다. [1]
입력과 출력에서 확인할 관계
원천 경로의 키 타입과 평탄화한 출력 경로를 함께 기록한 뒤 깊이 제한 유무에 따른 추출값을 비교한다. source_key_type과 source_key_repr을 보존하면 문자열로 보이는 출력명을 실제 매핑 키와 혼동하지 않을 수 있다. 원본의 경로 목록을 기준으로 대조해야 읽지 못한 필드가 검사 표에서도 사라지는 일을 피한다. [1, 3]
승인 기준과 실패 사례
설명용 입력에는 top 아래 정수 키에 연결된 값 x가 있고 출력 경로는 top.1이다. 이름을 문자열로 표시하더라도 기대값은 x로 유지되어야 한다. 결과가 missing이라면 출력 이름이 정상적으로 보이는 것과 관계없이 추출 계약을 충족하지 못한다. 표시용 이름을 바꿀 권한과 원천에서 값을 조회할 키를 바꿀 권한은 같은 것이 아니다. [1, 3]
Truthound를 연결하는 검사 경계
Truthound Core 3.3.2의 ColumnPairValidator로 승인 경로의 기대값과 실제 추출값을 비교할 수 있다. 경로를 펼치는 일과 정수 키를 조회하는 일은 전처리기의 책임이다. 누락 필드가 비교표에서 아예 빠지지 않도록 원천 경로 목록을 기준으로 대조표를 만들어야 한다. 결측 쌍은 건너뛸 수 있으므로 실제 값 비교와 별도로 원천·출력의 값 존재 상태를 명시적인 Boolean 열로 만들어 비교한다. [1, 2, 3]
다른 선택이 필요한 조건
정수 키와 문자열 키가 함께 있을 때 이름 충돌을 자동 해결하는 정책은 이 보고가 제공하지 않는다. 키 타입을 유지하는 경로 인코딩을 사용하고 충돌 가능 경로는 별도 열 매핑으로 관리한다. 입력 수집 단계에서 모든 객체 키가 문자열로 보장된다면 정수 매핑 키 반례의 직접성은 낮다. [1, 3]
적용 조건
source_key_type, source_key_repr, output_path, extracted_value 매핑표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다. 값이 없는 출력도 원본 식별자에 남기고 명시적인 Boolean 존재 상태를 별도로 대사한다.
대안
키 타입을 유지하는 경로 인코딩을 사용하고 충돌 가능 경로는 별도 열 매핑으로 관리한다.
한계
정수 키와 문자열 키가 함께 있을 때 이름 충돌을 자동 해결하는 정책은 이 보고가 제공하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
