pandas SPSS에서 Parquet로 이전: attrs 삭제 전에 보존할 메타데이터
메타데이터를 지우는 우회는 보존 성공과 다르므로 값 데이터와 설명 메타데이터의 이전 계약을 각각 남겨야 한다.
pandas SPSS에서 Parquet로 이전: attrs 삭제 전에 보존할 메타데이터
Parquet 저장 오류를 없애려고 attrs를 비우면 숫자 행은 남아도 자료를 해석할 설명이 사라질 수 있다. 변수 라벨과 작성 시각을 보존해야 하는 이전 작업에서는 파일 생성만으로 완료를 선언하기 어렵다. 표와 메타데이터를 함께 다시 읽을 수 있는 인계 구조가 필요하다. [1, 2, 3]
공개 원문이 보여 준 범위
read_spss가 넘긴 생성·수정 시각 datetime 메타데이터 때문에 Parquet의 JSON 메타데이터 생성이 실패했다는 보고다. attrs를 비우면 저장되지만 원문은 원인 패키지 귀속을 확정하지 않았다. [1]
입력과 출력에서 확인할 관계
변수 라벨과 생성·수정 시각의 승인된 직렬화 표현을 별도 manifest에 보관한다. 저장 파일을 다시 읽은 표와 이 manifest가 같은 자료를 가리키는지 확인한 뒤 이전 완료를 선언한다. dataset_id, metadata_key, source_type, serialized_value가 연결되어 있어야 숫자 행이 남아 있어도 해석에 필요한 설명이 사라진 경우를 찾을 수 있다. [1, 3]
승인 기준과 실패 사례
설명용 보존 계약에서 creation_time은 필수 메타데이터 키다. 상태가 present이면 존재 조건을 충족하고 absent이면 데이터 행을 모두 저장했더라도 이전을 승인하지 않는다. 기대 키는 출력에 우연히 남은 속성이 아니라 원래 합의한 보존 정책에서 가져온다. 키 존재와 시간값의 형식·의미는 별도 조건이므로 존재 검사만으로 시각의 정확성까지 주장하지 않는다. [1, 3]
Truthound를 연결하는 검사 경계
Truthound Core 3.3.2의 ColumnExistsValidator를 적용하려면 sidecar의 보존 키를 dataset_id별 실제 열로 펼친 검사 표를 준비한다. creation_time 열의 존재와 시각 값의 타당성은 다른 검사다. 속성 dictionary를 그대로 넘기면 모든 계층의 의미가 자동 검증된다고 설명해서는 안 된다. [1, 2, 3]
다른 선택이 필요한 조건
메타데이터 존재 검사는 시각이 실제 작성 시각임을 증명하거나 SPSS와 Parquet의 모든 의미를 동등하게 만들지 않는다. JSON 호환 표현으로 변환한 메타데이터를 버전 있는 sidecar에 저장한다. 공식 보존 정책에서 해당 메타데이터를 제외했다면 그 부재만으로 이전 실패를 선언할 수 없다. [1, 3]
적용 조건
보존 대상 metadata를 dataset_id별 넓은 표로 pivot해 creation_time을 실제 열로 만들고 원본 sidecar와 연결한다.
대안
JSON 호환 표현으로 변환한 메타데이터를 버전 있는 sidecar에 저장한다.
한계
메타데이터 존재 검사는 시각이 실제 작성 시각임을 증명하거나 SPSS와 Parquet의 모든 의미를 동등하게 만들지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
