Truthound · 전체 콘텐츠 · 19/24
공개 사건을 근거로 데이터 계약·검사 입력·한계를 설명하는 Truthound Core 검증 실무 자료
480 편
Iceberg expireSnapshots와 transaction: catalog commit 전 파일 삭제를 확인하는 방법
유지보수 호출 성공보다 아직 공개된 snapshot의 파일 참조가 살아 있는지 확인해야 한다.
Iceberg·Spark exchange 재사용: 같은 hash가 같은 scan을 뜻하지 않는다
합계가 그럴듯해도 요청한 파티션의 데이터가 실제로 계산에 참여했는지 provenance를 확인해야 한다.
Iceberg Evaluator와 SQL의 NULL 필터를 비교할 때 먼저 정할 것
두 API가 다른 NULL 의미를 의도한다면 단순 결과 차이를 모두 오류로 셀 수는 없다.
Iceberg DeleteFile copy 후 equalityFieldIds가 남았는지 확인하기
파일 경로가 복사되고 commit이 성공해도 삭제 의미를 정의하는 키 메타데이터가 빠질 수 있다.
Iceberg DynamicSink의 키 변경은 checkpoint 경계에서 검증하자
필드 이름이 비슷해도 타입·순서·optionality가 달라지면 writer가 같은 키 계약을 공유하지 못할 수 있다.
DuckDB UNION 변경 전에 숫자 문자열의 표기 계약을 확인하자
UNION과 UNION ALL의 차이가 중복 개수에만 머문다고 가정하면 직렬화되는 숫자 표현을 놓칠 수 있다.
DuckDB CSV TRY_CAST 실패를 결측률로 덮지 않는 수집 계약
파싱할 수 없는 값, 격리한 행, 실행 자체의 실패는 서로 다른 결과다.
DuckDB WITH RECURSIVE와 NULL 분기: Boolean 스키마를 명시하는 이유
NULL만 반환하는 분기에서도 이후 소비자가 받을 타입은 분명해야 한다.
DuckDB 정수 overflow: WHERE가 위험한 곱셈을 막아준다고 가정하지 말자
필터 평가 순서에 기대는 성공은 산술 입력이 안전하다는 증거가 아니다.
DuckDB NULL 집계가 어긋날 때: 개수 보존식부터 검증하기
NULL 비율을 신뢰하려면 전체·비결측·결측 개수가 같은 입력을 분할하는지 먼저 확인해야 한다.
DuckDB LEFT JOIN 검증: 행 수가 같아도 미매칭 키는 다를 수 있다
좌측 행 보존은 총 개수가 아니라 어떤 키에 NULL 확장 행이 붙었는지로 확인해야 한다.
DuckDB ENUM의 Parquet distinct_count: 허용 값과 실제 값을 구분하기
ENUM에 정의한 선택지 수는 파일에 실제로 기록된 값의 종류 수가 아니다.
DuckDB SUM 뒤 UINT8 cast가 실패할 때: 집계 출력 타입의 용량 검증
입력 값이 작은 정수여도 집계 결과는 더 넓은 타입이 필요할 수 있다.
Doris MySQL CDC snapshot: INVISIBLE 기본 키가 실제 추출에 포함되는가
원본 schema에 키가 있다는 사실과 SELECT 결과에 그 키가 있다는 사실은 다르다.
Doris rowset ID의 대문자 hex: 파싱 성공보다 충돌 여부를 확인하자
비어 있는 rowset에서 발견한 식별자 오류를 데이터 유실로 과장하지 않으면서도 ID 계약은 검증할 수 있다.
Doris external scan의 성공 종료와 데이터 완전성을 분리하자
Spark 작업이 성공했어도 취소나 오류가 정상 eos로 전달되면 일부 행만 읽었을 수 있다.
Doris COUNT+offset 검증: 원시 개수와 후속 산술을 함께 남기기
COUNT 자체의 최적화가 맞아도 COUNT를 포함한 복합 식의 의미가 보존되는지 별도로 확인해야 한다.
Doris Arrow Stream Load 전에 실제 배열 타입과 목적 schema를 맞추자
유효한 Arrow IPC가 목적 열의 serde에도 안전한 입력이라는 뜻은 아니다.
Doris array_sort 별칭 검증: 정렬과 원소 보존을 따로 검사하기
저장 함수가 등록됐다는 사실만으로 comparator의 인자 의미가 보존됐다고 볼 수 없다.
DataFusion random 필터 재작성: 같은 식처럼 보여도 추출 비율은 다르다
volatile 식을 복제하면 한 번 뽑은 난수의 범위 검사와 서로 다른 난수의 두 검사는 같은 실험이 아니다.
