Arrow·Parquet 왕복에서 R list 원소 이름까지 보존됐는지 확인하기
표의 속성이 남았어도 list 원소를 해석하는 이름은 빠질 수 있다.
Arrow·Parquet 왕복에서 R list 원소 이름까지 보존됐는지 확인하기
현장에서는 숫자 배열뿐 아니라 원소를 해석하는 이름과 속성이 어느 계층에 붙어 있는지 확인해야 한다. 표 전체와 열의 metadata가 남았다는 검사만으로 list 안쪽의 named vector까지 보존됐다고 승인할 수는 없다. 이후 사용자가 원소를 구분하는 이름을 잃으면 값이 같아도 자료의 의미는 달라진다. [1, 2, 3]
보고의 범위와 전제
Arrow 이슈 54682는 R data.frame과 일반 열의 속성은 남지만 list 열 원소의 이름과 속성이 왕복에서 빠지는 예를 제시한다. 작성자는 named vector를 Parquet으로 저장하면서 이름을 잃은 경험을 설명한다. 이는 R 임의 객체의 모든 속성에 대한 결론이 아니라 원문이 비교한 계층별 보존 차이다. [1]
입력에서 확인할 관계
표·열·list 원소 계층별 속성을 추출한 뒤 왕복 결과와 대사하고 원소 의미가 빠진 파일의 재사용을 보류한다. 같은 행 ID와 list 위치를 대응시키고 어느 계층의 어떤 속성인지 키를 분리한다. 필수 이름을 명시 열로 옮기거나 같은 자료 ID의 sidecar로 보관할 때도 수신자가 그 연결을 복원할 수 있는지 확인한다. [1, 3]
승인 기준을 정하는 작은 사례
설명용 원소 이름을 sample_A라고 정한다. 저장 뒤에도 sample_A가 있으면 이름 보존 조건을 충족한다. 값 배열은 같지만 이름 상태가 missing이면 어떤 표본의 값인지 구별할 근거를 잃었다. missing은 시험표의 부재 표기이며 실제 이름 문자열이 아니다. 이름이 업무 의미와 무관하고 보존 계약에서도 제외됐다면 같은 실패 판정을 강제하지 않는다. [1, 3]
Truthound 검사에 넘길 경계
Truthound Core 3.3.2의 ColumnPairValidator로 추출한 속성의 전후 값을 비교할 수 있다. 결측 쌍을 건너뛰므로 이름의 존재 여부도 별도 상태로 남겨 검사해야 한다. 원소 metadata를 안전하게 추출하는 작업과 R 객체를 재구성하는 작업은 외부에 남는다. 검증기가 모든 R 속성의 직렬화나 복원을 보장하지 않는다. [1, 2, 3]
적용 조건
필수 list 원소 이름의 원본 목록과 복원 결과를 같은 자료·원소 위치로 연결하고 이름 누락도 별도로 기록한다.
대안
필수 원소 이름을 명시 열로 정규화하고 sidecar metadata를 같은 자료 ID로 연결한다.
한계
R 임의 객체 속성의 모든 직렬화 가능성을 보장하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
