Truthound · 전체 콘텐츠 · 11/24
공개 사건을 근거로 데이터 계약·검사 입력·한계를 설명하는 Truthound Core 검증 실무 자료
480 편
공유 Puffin 파일은 마지막 활성 deletion vector까지 보존한다
공유 Puffin의 일부 deletion vector를 교체해도 다른 활성 참조가 남으면 컨테이너를 보관한다. 정리 후보와 전체 참조 graph를 대사한 뒤 offset과 내용은 별도로 확인한다.
Trino bigint 읽기에서도 Parquet unsigned 부호를 확인한다
Parquet unsigned 정수가 bigint로 읽힌다는 사실만으로 값 보존을 승인하지 않는다. annotation을 독립 해독한 값과 key별로 대사해 signed 경계에서의 부호 변화를 찾는다.
Trino timestamp 상한 근처의 precision cast는 날짜까지 확인한다
timestamp 상한 부근의 precision 변환은 전체 연도와 소수초를 보존한 기준으로 검사한다. 검사 도구의 날짜 범위에 먼저 맞추면 조사하려던 이동 자체가 사라질 수 있다.
Trino spooling URI의 유효 수명은 credential 만료에도 묶인다
spool URL의 전달 가능 창은 URL 만료와 signing credential 만료 중 이른 경계로 계산한다. 전달 전 지연까지 반영해 client에게 실제 남은 시간을 안내하고 token 원문은 남기지 않는다.
Trino 예약어 열의 metadata query도 실제로 준비됐는가
예약어 열을 가진 테이블은 소비자가 쓰는 각 metadata query를 직접 확인한다. 다른 metadata 경로의 성공이나 축약 SQL 설명으로 필요한 경로의 parse 성공을 대신하지 않는다.
Pinot의 마지막 metadata 오류를 Trino 빈 split으로 승인하지 않는다
Pinot split의 데이터 block이 비어도 final metadata 오류가 있으면 성공 집계에서 제외한다. metadata 미수신도 정상 공백과 구분해 누락 segment를 숨기는 낮은 집계를 막는다.
Trino Parquet min/max에는 비교 순서 선언도 필요하다
Parquet min/max를 소비하기 전에 각 leaf의 column_orders 선언을 schema 순서와 함께 확인한다. 선언 존재를 통과해도 실제 bounds의 수치 정확성은 독립적으로 검증한다.
Delta 삭제 벡터가 있어도 활성 파일 inventory는 남아야 한다
삭제 벡터가 붙은 파티션을 정리하기 전에 활성 로그의 파일 목록과 통계를 대사한다. 생존 행 수와 물리 파일 수를 구분해야 빈 파티션이라는 오판을 막을 수 있다.
Trino bloom filter는 반대 부호의 zero도 같은 행을 남겨야 한다
SQL에서 동등한 부호 반대 zero가 bloom filter에서 누락되는지 같은 snapshot의 키로 비교한다. count가 같아도 선택된 정체성은 다를 수 있어 pruning 사용·미사용의 집합 대사가 필요하다.
PyIceberg local 파일의 내구성과 commit ACK를 구별한다
폐기된 filesystem-table commit 경로의 내구성 보고는 해당 경로의 범위에서 읽는다. 격리된 복구 시험에서는 ACK 참조와 파일 내용을 대사하고 process 종료와 전원 손실을 구별한다.
Iceberg v2 snapshot 필수 필드는 reader 수용과 별도로 검사한다
Iceberg metadata는 reader가 받아들였는지와 format-version의 필수 필드가 있는지를 따로 확인한다. 신규 snapshot의 manifest-list와 summary 존재를 검사한 뒤 참조 내용으로 검증을 이어간다.
Iceberg REST schema 정리에서 current-schema-id를 먼저 대조해야 하는 이유
정리와 열 추가가 같은 REST 요청에 들어갈 때는 현재 schema 참조가 보존된 정의에 연결되는지 확인해야 한다.
Iceberg REST의 동시 200 응답 뒤 실제 변경을 대사한다
REST 동시 갱신이 각각 성공 응답을 받았다면 새로 읽은 table 상태에 승인된 property key가 모두 남았는지 확인한다. 성공 code 개수 대신 변경의 정체성으로 보존을 판단한다.
Iceberg 이름 재사용 뒤 writer도 새 table 정체성을 써야 한다
동명 table을 다시 만들었다면 UUID와 data·manifest의 실제 쓰기 target을 함께 확인한다. 이름과 schema ID가 같아도 이전 factory의 location을 새 table의 것으로 승인하지 않는다.
Iceberg maintenance는 최초 성공 뒤 다음 주기도 진행해야 한다
공유 lock을 쓰는 maintenance 조합은 첫 완료 뒤의 반복 진행까지 확인한다. 실제 schedule에 맞춘 관측 창에서 task별 완료를 세어 아직 예정되지 않은 작업과 정체를 구분한다.
Iceberg 기본 CRS 호환성은 좌표축 계약과 함께 검토한다
default CRS와 table CRS는 이름만 비교하지 말고 파일 format의 좌표 순서와 승인한 pair를 확인한다. 문서화된 호환 convention을 모든 CRS의 교환 가능성으로 일반화하지 않는다.
Hudi union reader는 non-null branch를 실제 투영해 검사한다
Avro union의 file-group projection은 branch별 값과 member 표현으로 legacy 경로와 대사한다. top-level 이름 하나의 성공으로 아직 읽지 않은 nested branch를 승인하지 않는다.
Hudi meta sync의 clean 누락은 필요한 window로 분류한다
archived clean의 부재는 현재 sync에 필요한 window에 속하는지부터 판단한다. 필수 근거가 사라졌다면 같은 경계의 검증된 전체 partition 목록으로 대조한 뒤 완료를 결정한다.
Hudi savepoint는 clean 뒤 실제 AS OF 읽기까지 확인한다
clean 뒤 savepoint 파일이 남았어도 지정 commit의 AS OF 읽기를 직접 확인한다. 보존 inventory와 consumer-read 상태를 나누어 파일 부재와 읽기 경계 거절을 구별한다.
Hudi 삭제 이벤트의 중첩 ordering 값도 원래 순서를 지켜야 한다
늦게 도착한 delete가 최신 update를 지우는지 같은 키로 재생해 본다. 중첩 ordering 경로와 table version을 기록하고 사건 시각 정책에 맞는 생존 버전을 확인한다.
