Arrow ORC에서 a.b 값이 NULL이 될 때: 필드 정체성 검증
점이 들어간 실제 열 이름과 중첩 경로를 서로 다른 필드로 보존한다.
표시 문자열로 필드를 합치지 않는다
표시 경로 문자열 하나로 서로 다른 필드 정체성을 합치면 전체 scan도 안전하지 않다. top-level 이름 a.b와 struct a의 자식 b는 사람이 보는 표기가 비슷해도 별개 필드다. 검사 표에서부터 둘을 구분하지 않으면 값이 바뀐 뒤에도 비교 대상이 무엇이었는지 알 수 없다. [1, 2, 3]
전체 scan에서 생긴 NULL
공개 ORC 보고는 top-level a.b에 [1, 2], 중첩 a/b에 [10, 20]을 저장한 파일을 다룬다. 전체 ORCFile 읽기는 두 필드를 보존하지만 Dataset 전체 scan에서는 a.b가 NULL로 바뀐다고 설명한다. 결과는 validate(full=True)를 통과했다. 원문은 이 문제를 모호한 문자열 selector의 우선순위 재정의와 구분한다. [1]
필드 ID를 먼저 만든다
literal 이름과 nested 경로를 구분한 필드 ID를 만들고 full ORCFile 대조로 각각의 값과 결측 상태를 검사한다. literal 또는 nested라는 종류와 경로 성분 목록을 따로 저장한다. row_id까지 고정한 뒤 필드별 값 상태를 비교하면 정상적으로 존재하던 두 값이 사라진 위치를 찾을 수 있다. [1, 3]
두 값이 있는 literal 필드의 반례
설명용 fixture에서 literal a.b의 두 행은 모두 값이 있다고 정의한다. 비결측 값 2개는 정상이고 0개는 실패다. 실제 검사는 건수만으로 끝내지 않고 각 필드·행의 기대 상태와 관측 상태를 연결한다. Truthound Core의 ColumnPairInSetValidator는 이처럼 준비한 필드 정체성 토큰과 허용 값 상태의 조합을 확인할 수 있다. 원시 중첩 ORC를 스스로 해석하는 기능으로 설명해서는 안 된다. [1, 2, 3]
대체 읽기 경로의 비용까지 확인하기
보고의 ORCFile 전체 읽기 대조를 사용하려면 파일 전체 물질화 비용을 검토해야 한다. 경로를 바꾼 뒤에도 literal 이름과 nested 경로가 모두 보존되는지 확인한다. field 순서를 바꾸어 증상이 사라졌다는 관찰만으로 장기적인 필드 식별 계약이 해결됐다고 승인하지 않는다. [1, 3]
적용 조건
field_identity_kind, field_path, expected_value, observed_value 표를 원본 또는 독립 대조 경로에서 준비하고 관측 대상과 동일한 실행·파일·키 범위로 연결한다.
대안
ORCFile 전체 읽기 뒤 메모리에서 선택하고 필터한다.
한계
원문은 full scan 문제이며 모든 문자열 selector 우선순위를 새로 정의한 결론이 아니다. validate(full=True) 통과도 내용 정확성을 보장하지 않았다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
