Delta의 AddFile 재추가를 저장 용량 증가로 세지 않으려면
metadata-only 재추가의 CRC는 action 개수보다 파일 정체성을 보존한 활성 상태와 대사해야 한다.
action 수와 활성 파일 수를 분리한다
메타데이터 재추가는 파일 생성과 다르므로 CRC는 커밋 action 수가 아니라 조정된 활성 파일 상태와 대조해야 한다. 파일 경로가 다시 등장한 것을 신규 저장공간으로 집계하면 데이터 증가가 없는데도 용량 경보와 비용 배분이 달라질 수 있다. Truthound Core Python SDK에는 이처럼 외부에서 계산한 두 크기 열을 대조하는 역할을 줄 수 있다. [1, 2, 3]
같은 파일의 메타데이터만 바뀐 보고
Delta issue #8026은 Kernel의 post-commit SIMPLE CRC 구성이 기존 파일을 metadata-only로 재추가한 AddFile도 새 파일로 센다고 보고한다. 원문 예시는 a.parquet 하나, 100 bytes에서 시작한다. Manual Update가 같은 파일 정체성을 유지한 채 metadata를 바꾸었는데 현재 계산은 numFiles=2와 tableSizeBytes=200을 내놓는다고 설명한다. 이는 제보와 제안된 수정의 기록이며 이 글이 해당 경로를 실행하거나 수정 완료를 확인한 것은 아니다. [1]
용량 보고의 기준을 먼저 고정한다
동일 파일 정체성을 보존한 재추가 커밋에서 활성 파일 목록을 재구성하고 CRC의 numFiles·tableSizeBytes를 함께 대사한 뒤 용량 보고에 사용한다. 표에는 Delta 버전, path, size, 삭제 또는 재추가의 의미, CRC 계산 모드를 기록한다. action 원장을 단순 합산하는 대신 그 버전에서 살아 있는 파일의 정체성을 기준으로 정리해야 한다. [1, 3]
100 bytes의 근거는 파일 상태다
원문 설명은 활성 파일 a.parquet 하나의 크기를 100 bytes로 고정하고 같은 파일을 메타데이터만 바꾸어 재추가한다. 새 파일이 생기지 않았으므로 승인 크기는 100 bytes다. CRC가 100 bytes이고 활성 목록도 같은 파일의 100 bytes를 가리키면 크기 대조는 맞는다. CRC가 200 bytes라면 같은 파일을 두 번 센 것이므로 실제 저장공간 증가나 신규 데이터 유입으로 해석하지 않는다. 이 대조는 파일 수 1과 action 수 2를 같은 수치로 만들려는 검사가 아니다. [1, 3]
CRC의 두 값을 검사하는 범위
Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 운영자가 준비한 crc_bytes와 reconciled_active_bytes의 비결측 값을 == 관계로 비교할 수 있다. 결측 행은 별도 검사로 거절하고 같은 Delta 버전의 bytes끼리 묶어야 한다. SDK가 Delta action log를 재생하거나 SIMPLE과 FULL 경로를 선택하지는 않는다. 두 크기가 같아도 파일 내용 checksum과 모든 파일의 정체성이 맞는다는 보장은 없다. [1, 2, 3]
제안된 fallback과 확인된 동작을 구분한다
보고자는 기존 operation allowlist를 post-commit CRC 구성의 시작 부분에서 재사용하고, 지원하지 않는 연산에서는 FULL replay를 선택하도록 하자는 방안을 제시한다. 이것은 원문에 적힌 제안이다. 운영 환경의 버전에서 이미 적용되었다고 가정하지 말고 실제 지원 연산과 checksum 경로를 확인해야 한다. FULL이라는 이름만으로 비교 기준의 독립성이 확보되는 것도 아니므로 원본 log와 계산 범위를 남긴다. [1]
불일치가 나면 용량 증가의 설명을 보류한다
대사가 어긋나면 먼저 신규 파일 생성, 동일 정체성의 재추가, 파일 교체를 구분한다. 지원되는 연산 조건을 확인하고 FULL replay에서 얻은 활성 파일 상태를 별도 기준으로 사용할 수 있다. 다만 이 글의 두 열 비교는 이상을 드러내는 계약이며 저장소를 변경하는 복구 절차가 아니다. 경보나 비용 보고는 파일 상태와 CRC의 관계를 설명할 수 있을 때 재개한다. [1, 3]
적용 조건
같은 Delta 버전의 활성 path·size를 재구성해 CRC와 맞춘다.
대안
지원 조건을 확인한 FULL replay의 활성 상태를 별도 기준으로 쓴다.
한계
크기 일치는 내용 checksum이나 파일 정체성 전체의 일치가 아니다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
