pandas CSV·Excel MultiIndex: 열 튜플과 계층 이름을 따로 보존하기
값의 배열이 같더라도 열 계층의 이름은 이용자가 해석하는 축의 의미이므로 별도 승인해야 한다.
pandas CSV·Excel MultiIndex: 열 튜플과 계층 이름을 따로 보존하기
다중 머리글 표의 값과 열 튜플이 같아도 계층 이름이 바뀌면 축을 설명하는 의미가 달라진다. 다른 reader의 결과를 행렬 모양만으로 비교하면 이런 차이를 놓칠 수 있다. 문서 작성자의 계층 정의를 별도로 인계해야 값 보존과 축 설명을 함께 승인할 수 있다. [1, 2, 3]
공개 원문이 보여 준 범위
다중 머리글과 다중 index_col을 사용하는 CSV·Excel 읽기에서 실제 열 튜플은 같지만 columns.names가 달라지는 보고다. 원문은 동일한 입력 의도에 대해 서로 다른 상단 셀을 계층 이름으로 선택한 결과를 보여준다. [1]
입력과 출력에서 확인할 관계
문서 작성자는 각 머리글 행의 의미를 명시하고 변환 담당자는 계층 이름과 실제 열 튜플을 따로 인계한다. header_level, approved_level_name, parsed_level_name을 기록하면 행렬 크기와 열 값이 같아도 축의 설명이 달라진 경우를 찾을 수 있다. 어느 원천 셀을 이름으로 사용할지도 이 의미 계약에서 정한다. [1, 3]
승인 기준과 실패 사례
설명용 계약에서 첫 계층의 의미는 metric이고 다음 계층은 region이다. 첫 계층에 metric을 붙이면 의도에 맞지만 region을 붙이면 같은 값 배열이어도 축의 설명이 바뀐다. 원천에서 읽기 편한 위치에 있다는 이유만으로 이름을 선택해서는 안 된다. parser 간 차이는 문서 소유자가 승인한 계층 의미에 비추어 해석한다. [1, 3]
Truthound를 연결하는 검사 경계
Truthound Core 3.3.2의 ColumnPairValidator는 계층 위치별 approved_level_name과 parsed_level_name을 비교하는 데 쓸 수 있다. 실제 열 튜플의 값과 계층 이름은 각각 보존해야 한다. 이 대조는 어느 parser가 보편적으로 옳은지를 자동 결정하지 않는다. [1, 2, 3]
다른 선택이 필요한 조건
보고만으로 CSV나 Excel 중 어느 경로가 모든 파일에서 정답인지 결정할 수 없다. 계층 이름을 별도 스키마로 선언하고 import 후 명시적으로 적용한다. 소비자가 계층 이름을 쓰지 않고 고정 위치만 계약으로 삼으면 영향은 다르지만 이름 불일치는 기록할 수 있다. [1, 3]
적용 조건
header_level, approved_level_name, parsed_level_name 매니페스트를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.
대안
계층 이름을 별도 스키마로 선언하고 import 후 명시적으로 적용한다.
한계
보고만으로 CSV나 Excel 중 어느 경로가 모든 파일에서 정답인지 결정할 수 없다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
