Truthound · 저장과 복구의 일관성 · 3/3
저장 전후의 행·값·메타데이터를 함께 확인합니다.
55 편
Polars rolling slice의 distinct 오류: 정렬 플래그와 실제 값 분리
가변 offset으로 선택한 값은 원래 열의 정렬 보장을 물려받을 수 없다.
Iceberg 삭제 위치 검사: 파일 경계와 head 제한을 따로 확인하기
4행 파일의 삭제 위치 100은 유효하지 않다. 최종 출력 건수만 검사하면 원인을 놓친다.
Delta 삭제 벡터가 적용되지 않을 때: URI와 파일 참조 검사
공백이 있는 파티션만 삭제 행을 다시 내보낸다면 경로 정규화와 삭제 적용을 나눠 확인한다.
Iceberg WAP 승인 전 데이터가 main에 보이는지 검사하기
stage라는 상태 이름보다 branch별 실제 가시성과 WAP snapshot의 존재가 승인 경계를 설명한다.
Iceberg UUID 복합 equality delete가 scan task에 붙었는지 확인하자
삭제 파일이 존재하고 commit돼 있어도 reader의 적용 계획에 포함되지 않으면 행은 남는다.
Iceberg 중첩 equality delete: 지울 행뿐 아니라 남길 행도 검증하기
삭제 대상을 찾았다는 확인보다 비대상 행이 살아남았다는 확인이 더 중요한 반례를 만들 수 있다.
Iceberg fixed binary 삭제 키가 하나로 줄면 buffer 소유권을 확인하자
파일에 기록한 키 개수와 reader가 메모리 집합으로 만든 키 개수는 같은지 확인해야 한다.
Iceberg expireSnapshots와 transaction: catalog commit 전 파일 삭제를 확인하는 방법
유지보수 호출 성공보다 아직 공개된 snapshot의 파일 참조가 살아 있는지 확인해야 한다.
Iceberg DeleteFile copy 후 equalityFieldIds가 남았는지 확인하기
파일 경로가 복사되고 commit이 성공해도 삭제 의미를 정의하는 키 메타데이터가 빠질 수 있다.
DuckDB ENUM의 Parquet distinct_count: 허용 값과 실제 값을 구분하기
ENUM에 정의한 선택지 수는 파일에 실제로 기록된 값의 종류 수가 아니다.
ClickHouse patch 복구 검증은 ATTACH 이후 merge까지 이어져야 한다
재부착 직후 값이 보인다는 확인만으로 lightweight update 복구를 종료하면 안 된다.
Dask·Zarr 병렬 저장: 읽히는 파일보다 shard 쓰기 소유권을 확인하기
같은 shard의 부분 갱신이 겹치면 저장 완료와 픽셀 보존은 다른 결과가 된다.
Dask task fusion 뒤 다른 작업이 같은 key를 얻는다면 무엇을 검사할까
결과 파일의 존재보다 논리 작업과 실행 작업의 대응을 먼저 보존한다.
Arrow IPC 부분 읽기 검사: V4 union의 값 보존 확인
같은 파일의 전체 읽기와 부분 읽기를 비교하되 메타데이터 버전과 union 종류를 함께 고정한다.
Airbyte MariaDB CDC 재시작 실패: offset에 필요한 TableMap 문맥 확인하기
재개 위치는 증가하는 숫자 하나가 아니라 이벤트를 해석할 문맥을 다시 읽을 수 있는 경계다.
