Styxis
Company
Knowledge

Arrow IPC 부분 읽기 검사: V4 union의 값 보존 확인

같은 파일의 전체 읽기와 부분 읽기를 비교하되 메타데이터 버전과 union 종류를 함께 고정한다.

부분 읽기도 같은 값을 반환해야 한다

부분 읽기 최적화는 파일의 메타데이터 버전까지 포함해 전체 읽기와 값 동치를 유지해야 한다. 필요한 열만 읽는 최적화는 디스크 접근량을 줄이는 수단이다. 값의 의미를 바꾸는 것은 최적화의 허용 범위가 아니므로 전체 읽기를 대조 경로로 사용할 수 있다. [1, 2, 3]

V4와 V5의 buffer 배치 차이

Arrow 보고는 V4 union에 있는 validity bitmap 슬롯이 V5에는 없다는 차이를 설명한다. 부분 필드 읽기에서 기본 V5 배치를 가정해 필요한 byte range를 계산하면 V4 메시지의 실제 buffer 위치와 어긋나 선택한 union의 값이 손상될 수 있다는 내용이다. 보고 범위는 메타데이터 버전과 union을 포함한 부분 읽기 조건이다. [1]

대조 파일과 행 정체성을 고정한다

V4·V5와 dense·sparse union 대조 파일을 구분하고 전체 읽기 후 선택한 값과 subset read를 같은 행 식별자로 비교한다. 파일 hash와 선택 필드 목록을 남기고 결측 여부는 값 열과 분리해서 비교한다. 행 순서가 달라질 가능성이 있으면 위치만으로 연결하지 말고 안정된 식별자를 사용한다. [1, 3]

값 20이 사라지는 설명용 반례

동일 행의 전체 읽기 값이 20이라고 독립 확인한 합성 대조를 만든다. 부분 읽기도 20이면 정상이고 0이면 실패다. 0 자체를 금지하는 것이 아니라 같은 파일·행의 승인한 값과 다르다는 점을 검사한다. 결측과 0을 합치지 않도록 별도 상태 비교도 유지한다. [1, 3]

Truthound가 비교할 표

Truthound Core의 ColumnPairValidator는 준비된 full_value와 subset_value 열의 대조에 사용할 수 있다. 실제 파일 읽기와 행 연결은 외부에서 수행해야 하며, 구조 검증 성공만으로 내용 보존을 대신할 수 없다. 실패가 V4 조건에 집중되면 지원되는 전체 읽기 경로를 먼저 검토한다. Truthound가 IPC의 buffer offset을 다시 계산하지는 않는다. [1, 2, 3]

적용 조건

metadata_version, union_kind, row_id, full_value, subset_value 표를 원본 또는 독립 대조 경로에서 준비하고 관측 대상과 동일한 실행·파일·키 범위로 연결한다.

대안

V4 파일은 전체 message body를 읽고 필요한 열을 선택한다.

한계

  • 구조 검증 성공만으로 의미 값 보존을 증명하지 않는다. Truthound가 IPC buffer offset을 재계산하지 않는다.

근거

사건 확인일
대상 확인일
수정일