Iceberg 삭제 위치 검사: 파일 경계와 head 제한을 따로 확인하기
4행 파일의 삭제 위치 100은 유효하지 않다. 최종 출력 건수만 검사하면 원인을 놓친다.
삭제 위치를 먼저 승인하기
삭제 위치의 유효성 검사는 최종 행 수 제한과 별도로 선행해야 한다. 범위를 벗어난 삭제 위치를 유효한 삭제 한 건처럼 계산하면 실제 제거되지 않은 행을 보상하는 과정에서 요청 행 수까지 달라질 수 있다. 입력 메타데이터와 scan 결과에 서로 다른 검사를 둔다. [1, 2, 3]
요청한 다섯 행과 반환된 여섯 행
Polars 2.1.0 재현은 4행짜리 파일에 삭제 위치 100을 연결한다. 전체 수집 뒤 head(5)를 적용하면 다섯 행인데, lazy scan에 head(5)를 먼저 적용한 경로에서는 여섯 행이 제시된다. 원문이 확인한 이 경로 차이를 모든 Iceberg 파일의 손상으로 넓혀 해석하지 않는다. [1]
파일별 경계를 연결한다
파일 행 수와 각 삭제 위치를 연결하고 범위를 벗어난 위치는 scan 전에 격리한다. head 결과의 상한도 독립적으로 확인한다. 위치는 0부터 시작하므로 승인 조건은 0 이상이면서 해당 파일의 행 수보다 작은 값이다. 여러 파일의 행 수를 합친 전체 길이를 경계로 사용하면 다른 파일의 위치를 잘못 승인할 수 있다. [1, 3]
상한 사례와 별도 하한
설명용 파일 길이를 4로 고정하면 위치 3은 마지막 유효 위치이고, 위치 100은 4보다 작지 않으므로 실패다. 이 두 사례는 상한을 설명한다. 음수는 별도의 하한 조건으로 거절해야 한다. 파일 행 수를 모르는 경우 상한을 큰 추정치로 대신하지 말고 메타데이터 확인 대상으로 남긴다. [1, 3]
Truthound 검사와 scan 수정의 경계
Truthound Core의 ExpressionValidator로 준비된 file_rows와 delete_position에 두 경계 조건을 적용할 수 있다. 이 단계는 잘못된 삭제 메타데이터를 격리하기 위한 입력 검사다. 그 뒤에도 요청 행 수와 실제 출력 수를 별도로 확인해야 한다. 행 수 자체의 정확성이나 Polars의 삭제·limit 실행 순서를 이 검사 하나가 보장하지는 않는다. [1, 2, 3]
적용 조건
file_id, file_rows, delete_position 위치 감사 표를 원본 또는 독립 대조 경로에서 준비하고 관측 대상과 동일한 실행·파일·키 범위로 연결한다.
대안
잘못된 position-delete 메타데이터를 격리하고 유효한 파일만 읽는다.
한계
파일 행 수 자체가 정확해야 하며 Truthound가 Iceberg scan의 삭제·limit 순서를 고치지는 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
