Styxis
Company
Knowledge

Parquet required child 검사: NULL 부모 아래의 물리 NULL 구분

부모가 존재하는 행에서만 자식 필수성 조건을 평가해야 한다.

필수 필드의 적용 범위

중첩 필드의 필수성은 부모가 실제로 존재하는 행에서 평가해야 한다. nullable struct가 NULL인 행에서는 그 아래의 물리 슬롯을 실제 자식 값처럼 평가하면 안 된다. 반대로 부모가 존재하는데 required child가 비어 있다면 실제 계약 위반이다. 두 상황을 같은 null_count로 합치지 않는다. [1, 2, 3]

유효한 부모 상태를 무시한 writer 거절

Arrow 보고는 부모 struct의 validity bitmap으로 가려진 required child의 물리 NULL까지 Parquet writer가 검사해 표를 거절한다고 설명한다. 재현에서는 부모와 자식의 물리 NULL 개수가 모두 있지만 Table의 전체 구조 검증은 통과한다. 구조의 필수성 해석과 writer의 처리 경로가 어긋난 사례다. [1]

부모와 자식 상태를 같이 추출한다

부모·자식 validity를 함께 추출하고 부모가 존재하는 행에서만 required child의 결측을 검사한다. 가려진 물리 슬롯을 임의 기본값으로 채워 의미를 바꾸지 않는다. parent_present와 required_child_present를 같은 행 식별자에 연결한다. NULL 부모 아래에 0이나 빈 문자열을 채워 writer를 통과시키면 없던 자식 값이 존재하는 것처럼 의미가 달라질 수 있다. [1, 3]

가려진 NULL과 실제 위반의 대조

설명용 정상 자료에는 부모가 없는 행의 가려진 NULL만 있고, 부모가 존재하는 행의 required child는 모두 채워져 있다고 정한다. 조건을 위반하는 행 수는 0이다. 부모가 존재하는데 자식이 없는 행 하나를 넣으면 위반 수가 1이 되어 실패한다. 부모가 NULL인 행이 늘었다는 이유만으로 이 위반 수를 늘리지는 않는다. [1, 3]

조건부 검사와 writer 선택

Truthound Core의 ConditionalExpressionValidator로 parent_present인 행에만 자식 존재를 요구할 수 있다. validity 추출은 외부에서 준비해야 한다. 이 검사가 Parquet writer의 거절을 직접 없애지는 않으므로 지원되는 writer나 다른 표현 경로를 선택할 때도 부모 상태가 보존되는지 따로 확인한다. [1, 2, 3]

적용 조건

parent_present, required_child_present validity 감사 표를 원본 또는 독립 대조 경로에서 준비하고 관측 대상과 동일한 실행·파일·키 범위로 연결한다.

대안

부모 validity를 보존하는 지원 writer 또는 별도 표현 경로를 검증한다.

한계

  • 이 검사는 Parquet writer의 거절을 직접 해소하지 않는다. 전송 전 flattening이나 다른 writer 선택은 표현 보존을 따로 확인해야 한다.

근거

사건 확인일
대상 확인일
수정일