Parquet 빈 page 뒤의 데이터: 0행 반환을 그대로 믿지 않기
값이 없는 page와 읽을 데이터가 더 없는 column chunk는 다른 상태다.
빈 구간을 파일의 끝으로 보지 않는다
빈 page는 전체 chunk의 완료 신호가 아니다. 물리 구간과 논리 행 수를 분리해야 한다. 파일을 열었는데 0행이 돌아왔다는 사실만으로 업무 자료가 비어 있다고 결론 내리면 이후 page의 데이터를 놓칠 수 있다. 정해진 대조 파일과 독립 reader가 있으면 이 해석을 검증할 수 있다. [1, 2, 3]
같은 파일을 세 행으로 읽는 대조
PyArrow 26.0.0 보고는 num_values가 0인 data page를 chunk의 끝으로 취급해 뒤쪽을 건너뛰는 경우를 제시한다. 재현 파일은 PyArrow에서 0행, DuckDB에서는 값 1·2·3의 세 행으로 읽힌다고 설명한다. 일부 열에만 빈 page가 있으면 다른 오류 형태가 나올 수도 있다고 구분한다. [1]
행 수와 키 집합을 나눠 확인하기
빈 page 뒤 유효 page가 있는 대조 파일을 유지하고 독립 reader의 행·키 집합과 결과를 비교한다. 0행 반환을 자동으로 정상 빈 파일로 분류하지 않는다. 파일 hash와 row_group_id를 남겨 같은 입력을 비교하는지 확인한다. 행 수가 맞아도 다른 행이 중복되거나 누락될 수 있으므로 문제를 좁힌 뒤에는 기준 키 집합도 대조한다. [1, 3]
고정 fixture의 exact count
설명용 승인 파일은 독립 대조로 세 행이 확인됐다고 정의한다. 디코딩 결과가 3행이면 이 건수 조건은 정상이고 0행이면 실패다. Truthound Core의 RowCountValidator에서 exact_count=3으로 검사할 대상은 디코딩한 실제 데이터 표다. declared_rows와 decoded_rows 숫자만 적은 한 행짜리 감사 표에 RowCountValidator를 적용하면 파일의 데이터 건수를 검사한 것이 아니다. [1, 2, 3]
실패 뒤의 복구 판단
footer 숫자만을 절대 기준으로 삼지 말고 독립 reader 결과와 기록을 함께 확인한다. 대조 파일을 올바르게 읽는 경로가 확보되면 재수집 범위를 정한다. Truthound는 빈 page 뒤를 이어 읽도록 Parquet reader를 고치지 않으므로, 판정 결과와 복구 실행은 구분해서 남긴다. [1, 3]
적용 조건
독립 reader로 확인한 고정 대조 파일의 행 수를 기준으로 삼고, file_id와 row_group_id를 연결한 실제 디코딩 데이터 표에 exact_count를 적용한다. 건수 숫자만 기록한 한 행짜리 감사 표의 행 수를 대신 세지 않는다.
대안
독립 reader에서 같은 파일을 읽어 승인된 행과 키를 확보한다.
한계
파일 footer 자체가 부정확할 수 있으므로 독립 reader 대조가 필요하다. Truthound가 Parquet page reader를 고치지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
