Truthound · 수집과 파일 해석 · 2/4
CSV·JSON·열 지향 파일을 읽는 경계에서 손실을 찾습니다.
77 편
Go INT32 음수의 10-byte varint: 양수 시험으로 가려지는 교환 경계
부호별 wire 폭과 실제 readback을 구분해야 한다. 양수 성공을 근거로 음수 sentinel이나 측정값을 교환 가능하다고 승인하지 않는다.
Beam Go INT16 wire 변경: 999의 바이트와 기존 저장 행을 함께 보기
새 cross-SDK wire 계약과 기존 Go 저장 바이트의 migration을 함께 검사해야 한다. 자체 round-trip 성공만으로 서로 다른 coder의 호환성을 승인하지 않는다.
Debezium asNumber의 큰 ID: Number 생성과 정확한 식별자 보존은 다르다
숫자 객체 생성과 정확한 식별자 보존은 다르다. 원시 십진 문자열과 변환 후의 정확 표현을 대조하고 근삿값을 식별자로 승인하지 않는다.
Trino bigint 읽기에서도 Parquet unsigned 부호를 확인한다
Parquet unsigned 정수가 bigint로 읽힌다는 사실만으로 값 보존을 승인하지 않는다. annotation을 독립 해독한 값과 key별로 대사해 signed 경계에서의 부호 변화를 찾는다.
Pinot의 마지막 metadata 오류를 Trino 빈 split으로 승인하지 않는다
Pinot split의 데이터 block이 비어도 final metadata 오류가 있으면 성공 집계에서 제외한다. metadata 미수신도 정상 공백과 구분해 누락 segment를 숨기는 낮은 집계를 막는다.
Trino Parquet min/max에는 비교 순서 선언도 필요하다
Parquet min/max를 소비하기 전에 각 leaf의 column_orders 선언을 schema 순서와 함께 확인한다. 선언 존재를 통과해도 실제 bounds의 수치 정확성은 독립적으로 검증한다.
Iceberg 기본 CRS 호환성은 좌표축 계약과 함께 검토한다
default CRS와 table CRS는 이름만 비교하지 말고 파일 format의 좌표 순서와 승인한 pair를 확인한다. 문서화된 호환 convention을 모든 CRS의 교환 가능성으로 일반화하지 않는다.
Hudi union reader는 non-null branch를 실제 투영해 검사한다
Avro union의 file-group projection은 branch별 값과 member 표현으로 legacy 경로와 대사한다. top-level 이름 하나의 성공으로 아직 읽지 않은 nested branch를 승인하지 않는다.
Hudi narrow integer의 쓰기·읽기·통계 준비를 나눈다
narrow integer의 bulk_insert는 write·read·stats 준비성을 각각 확인한다. ShortType과 ByteType 경로를 나누고 파일 존재나 일반 insert 성공으로 통계 소비까지 승인하지 않는다.
Hudi NULL 배열 원소는 list encoding의 왕복 계약으로 확인한다
NULL 원소 배열은 writer 성공 뒤에도 소비 경로별 왕복 확인이 필요하다. 부모 validity, 원소 위치, NULL 상태를 나누어 빈 배열 치환이나 원소 손실을 찾는다.
원격 시간 해독의 읽기 예산과 dtype 안전성을 함께 승인하기
열기 속도 개선은 요청 횟수와 시각 범위 보존을 나눠 평가한다. radar 자료의 실제 범위와 일반 decoder 경계를 혼동하지 않는다.
정수 결측 표식과 물리값 해독을 열별로 승인하기
전역 mask_and_scale 선택 하나로 서로 다른 변수의 표현 계약을 결정하지 않는다.
strict=False 날짜 파싱에서 전체 형식 추론 실패를 구분하기
잘못된 한 행과 형식 하나도 찾지 못한 열은 다른 상태다. 명시 format과 실제 완료 상태를 함께 남긴다.
Polars 소수 콤마 CSV: 실제 파일에서 행별 과학적 토큰을 대사하기
출력 행마다 원래 수치에 대응하는 전체 토큰을 대사해야 writer buffer의 이전 행 누적을 형식상 문자열로 승인하지 않는다.
Delta 뒤 ID 손상을 보기 전에 Arrow 교환 경계를 대사하기
저장 뒤 발견한 오류의 최초 발생 경계를 원문 ID로 확인한다.
NumPy Unicode strip: 제거 문자 순서가 보관 코드를 바꾸지 않게 하기
정제 문자 집합은 순서가 아니라 코드포인트 집합으로 해석하는 계약을 명시하고 원문 기반 기준 정제값과 비교해야 한다.
NumPy fixed-width replace: 입력 폭이 검색어와 대체어를 줄이지 않게 하기
검색 패턴과 대체 문자열은 원래 인자로 보존해야 입력 저장 폭이 정제 정책 자체를 바꾸지 않는다.
Dask object 열의 True: 같은 글자와 같은 Boolean 상태는 다르다
문자 표기보다 원래 값의 타입과 결측 의미를 인계 계약으로 확인해야 자동 string conversion을 상태 의미 보존으로 오해하지 않는다.
Dask uint8 mask 전달: 생성 성공과 deserialize 완료를 따로 확인하기
배열 dtype와 fill_value의 의미를 실제 직렬화 왕복에서 함께 검사해야 로컬 생성 성공을 분산 전달 완료로 오해하지 않는다.
DuckDB의 전부 NULL인 Parquet 자식에도 목표 타입이 필요하다
NULL-only struct 자식의 cast는 실행 성공을 확인한 뒤 반환 타입과 NULL 위치를 검사한다. 연결이 무효화된 실패를 올바른 타입의 결측 결과로 집계하지 않는다.
