Styxis
Company
Knowledge

Parquet StreamReader 전 스키마 검사: nested group을 먼저 분리하기

Parquet가 중첩 구조를 지원한다는 사실과 StreamReader가 그 구조를 처리한다는 사실은 다르다.

포맷과 API의 지원 범위를 구분한다

파일 포맷 지원과 특정 reader API의 스키마 지원 범위는 구분해야 한다. 파일 확장자만 보고 reader를 선택하면 특정 API가 지원하지 않는 구조를 네이티브 생성자에 넘길 수 있다. 안전한 메타데이터 경로로 스키마를 확인하고 읽기 방식을 정하는 순서가 필요하다. [1, 2, 3]

root field 수와 leaf 수가 다른 경우

Arrow main에 대한 보고는 flat schema만 지원하는 Parquet StreamReader와 StreamWriter가 생성자에서 중첩 group을 확인하지 않는다고 설명한다. leaf 개수로 root field를 순회하면 범위를 벗어나거나 group을 primitive로 취급할 수 있다는 내용이다. 이 보고를 모든 Parquet reader의 동일한 결함으로 일반화해서는 안 된다. [1]

메타데이터에서 먼저 분기하기

파일을 본문 reader에 열기 전에 메타데이터에서 root field의 종류를 추출하고 중첩 필드가 있으면 일반 Arrow reader 경로로 전환한다. root field의 node_kind와 leaf_count를 남긴다. 중첩된 파일을 flat 표처럼 억지로 열기보다 지원되는 reader로 보내고, 필요하다면 명시한 flattening 규칙으로 후속 표를 만든다. [1, 3]

primitive만 허용하는 설명용 경로

StreamReader용 입력 계약에서 각 root node가 primitive여야 한다고 정의한다. primitive는 정상이고 group은 이 경로에서 거절한다. Truthound Core의 InSetValidator로 안전하게 추출한 메타데이터 표의 node_kind를 검사할 수 있다. 검사를 하려고 먼저 위험한 생성자를 호출해서는 순서가 뒤집힌다. 메타데이터 추출 도구도 안전해야 하며, 이 검증기를 네이티브 메모리 안전성의 보안 경계로 주장하지 않는다. [1, 2, 3]

적용 조건

root_field_name, node_kind, leaf_count 메타데이터 표를 원본 또는 독립 대조 경로에서 준비하고 관측 대상과 동일한 실행·파일·키 범위로 연결한다.

대안

중첩 스키마를 지원하는 일반 Parquet Arrow reader를 선택한다.

한계

  • Truthound가 안전하지 않은 네이티브 생성자를 감싸 보안 경계를 제공하는 것은 아니다. 메타데이터 추출 도구도 안전해야 한다.

근거

사건 확인일
대상 확인일
수정일