Truthound · 저장과 복구의 일관성 · 2/3
저장 전후의 행·값·메타데이터를 함께 확인합니다.
55 편
Hudi record index 크기 재구축에서 scope를 보존한다
크기 조정을 위한 index rebuild가 partitioned/global scope를 바꾸지 않았는지 확인한다. 공통 metadata 이름 대신 전후 정의와 실제 적용 설정으로 정체성을 대사한다.
Hudi 증분 pruning의 통계가 과거 파일 범위를 덮는지 확인하기
과거 증분 조회의 정답을 현재 snapshot에서 만들면 pruning 누락을 놓칠 수 있다. 요청한 timeline 범위를 고정하고 같은 범위의 비최적화 키 집합과 대조한다.
문자열 Zarr 오류 보고의 버전 정정부터 보관 시험에 반영하기
오래된 버전의 오류를 최신 지원 범위로 확대하지 않는다. 실제 설치 조합의 문자열 좌표 왕복으로 승인한다.
NetCDF 문자열 좌표가 잘릴 때 drop_encoding 반환값까지 확인하기
결합된 메모리 값과 최종 파일의 좌표를 따로 승인한다. 재대입을 빠뜨린 시험으로 대안을 기각하지 않는다.
미래 DST 왕복에서 시간대 이름보다 UTC 순간을 확인하기
시간대 메타데이터가 남아 있어도 같은 순간은 아닐 수 있다. 현지 표기와 epoch를 함께 보관한다.
NaN page의 통계 부재를 row-group 범위에서 빼면 안 되는 이유
알 수 없는 범위와 빈 page를 구분하고 원시 유효값의 포함을 확인한다.
잘린 Delta timestamp 통계를 정확한 상한으로 읽지 않기
millisecond 통계와 microsecond 원시값의 정밀도 차이를 보존한다. 같은 사건의 중복 보고와 후속 수정도 함께 읽는다.
DuckDB export의 복구 가능성은 표현식 객체 복원으로 확인한다
COLLATE와 subscript가 들어간 schema는 별도 DB에서 실제 복원해 본다. export 완료, SQL parse 성공, 복원 값 일치를 나누어야 복구 준비의 첫 실패 경계를 찾을 수 있다.
Doris schema 변경 중 load 완료는 VISIBLE까지 확인한다
schema 변경 중 적재 완료를 알리기 전에 COMMITTED 상태를 visible key와 연결한다. timeout만으로 재적재하지 말고 transaction과 version trace로 대기 상태를 조사한다.
Doris packed 읽기는 길이 감산 전에 slice 경계를 검사한다
packed 객체 안의 slice를 읽을 때는 전체 객체 크기보다 논리 slice 경계를 먼저 확인한다. 직접 reader와 cache 보호 경로를 나누어 offset의 범위 초과를 조사한다.
Doris packed slice 정리는 하나의 metadata snapshot으로 판단한다
packed slice 삭제 후보는 formal·recycle·tmp 참조의 모든 page를 같은 snapshot에서 확인해 만든다. 시점이 다른 inventory의 부재를 합쳐 전체 부재로 판단하지 않는다.
Doris binlog TTL 전환에는 새 clone replica도 포함한다
binlog 보관 창을 늘렸다면 전환 중 clone된 replica도 새 TTL을 받았는지 확인한다. 정책 세대와 현재 serving 집합을 함께 기록해야 완료 응답 밖에 남은 replica를 찾을 수 있다.
Delta VACUUM inventory 오류에서는 nullable과 comment도 본다
VACUUM inventory 거절은 실제 dtype 불일치와 nullable·comment 같은 field metadata 차이를 나누어 조사한다. 원본 schema를 보존하고 DRY RUN 검토를 파일 삭제 승인과 분리한다.
Delta의 AddFile 재추가를 저장 용량 증가로 세지 않으려면
metadata-only 재추가의 CRC는 action 개수보다 파일 정체성을 보존한 활성 상태와 대사해야 한다.
Delta checkpoint의 Parquet 유효성과 action 완전성을 나눈다
읽히는 Parquet이라도 실패한 checkpoint 생성의 산출물일 수 있다. 후보를 승인하기 전에 실제 protocol·metaData action과 원본 log 범위를 확인한다.
ClickHouse TTL 비대상 Nested sibling도 실제로 남았는가
Nested field의 TTL 뒤에는 변경 대상 밖의 sibling 배열도 전후 대사한다. CHECK TABLE 성공과 별개로 보존되어야 할 업무 값이 남았는지 확인한 뒤 후속 mutation을 진행한다.
Trino Hive decimal 변경 후 Parquet 필터 누락: 저장 타입과 scale을 함께 확인하자
현재 schema만 보고 오래된 정수 파일의 통계를 해석하면 일치하는 행을 가지치기할 수 있다.
Hive ACID TRUNCATE 후 Trino에 남은 행: 현재 transaction 상태로 검증하기
파일이 아직 있다는 사실보다 승인된 TRUNCATE 이후 소비자가 무엇을 읽어야 하는지가 중요하다.
RisingWave upsert 뒤 DELETE: 연산 상쇄 전에 이전 상태를 확인하자
새로운 삽입을 지운 경우와 기존 값을 덮은 뒤 지운 경우는 최종 상태가 다를 수 있다.
Polars 열 0개인 표의 round-trip: 높이 3을 별도 상태로 보존하기
열 배열이 비어 있어도 행 수가 0인 것은 아니다. 확장 인터페이스에서 명시적 높이의 보존을 검사한다.
