Truthound · 수집과 파일 해석 · 3/4
CSV·JSON·열 지향 파일을 읽는 경계에서 손실을 찾습니다.
77 편
Doris UTC Z 파싱에서는 VARIANT 필드 존재도 확인한다
Zulu timestamp 적재는 행 성공 뒤에도 typed VARIANT 경로의 존재와 비결측을 확인한다. 변환 당시의 BE 환경을 남겨 사후 host 상태나 compaction 관측을 원인 증거로 확대하지 않는다.
Doris 자동 파티션 RPC의 status 부재를 성공으로 읽지 않는다
자동 파티션 응답의 wire status 누락을 default OK로 채우지 않는다. 명시 응답의 존재와 새 파티션의 visible key를 순서대로 확인해 완료 판단을 분리한다.
Delta location 문제의 정정: Unity Catalog URI 계약부터 맞춘다
퍼센트가 든 location은 URI text와 저장 key의 서로 다른 표현을 구분해 검사한다. 후속 정정에 따라 UC의 수신·반환 경계를 조사하고 철회된 Delta 수정안을 해결책으로 반복하지 않는다.
Delta DataFrame의 혼합 대소문자 Hadoop key를 보존한다
대소문자가 있는 Hadoop option은 원문 key와 실제 Configuration 조회 결과를 연결한다. 전달된 문자열의 존재만으로 I/O 설정 적용을 승인하지 않고 자격증명 값은 기록에서 제외한다.
Delta ANSI partition filter와 scan의 NULL 해석을 맞춘다
잘못된 partition 문자열의 NULL 해석은 full scan과 filter 경로에서 같은 정책을 따라야 한다. raw 값과 ANSI 설정을 보존해 cast 오류를 정상 빈 결과와 구분한다.
ClickHouse VALUES의 unsigned 변환 실패를 기본값으로 숨기지 않는다
unsigned 중첩 배열의 음수 입력이 빈 배열로 치환되면 타입 적합성만으로는 승인할 수 없다. 원시 입력과 거절 정책을 연결해 정상 sibling까지 사라진 범위를 남긴다.
DuckDB CSV TRY_CAST 실패를 결측률로 덮지 않는 수집 계약
파싱할 수 없는 값, 격리한 행, 실행 자체의 실패는 서로 다른 결과다.
Doris external scan의 성공 종료와 데이터 완전성을 분리하자
Spark 작업이 성공했어도 취소나 오류가 정상 eos로 전달되면 일부 행만 읽었을 수 있다.
Doris Arrow Stream Load 전에 실제 배열 타입과 목적 schema를 맞추자
유효한 Arrow IPC가 목적 열의 serde에도 안전한 입력이라는 뜻은 아니다.
ClickHouse NATS 수집 검사에서 메시지 수와 행 수를 나눠야 하는 이유
메시지 하나가 여러 행을 만들면 수신 성공 횟수만으로 착지 완전성을 알 수 없다.
PapaParse Vite production worker: data와 meta.fields의 역할 검사
새 worker 경로는 배포 번들의 반환 envelope까지 검사하는 작은 시험으로 승인해야 한다.
PapaParse unparse의 첫 행 헤더 추론: 뒤늦은 선택 필드 보존
CSV 내보내기 실험은 첫 행의 대표성보다 명시된 전체 필드 계약을 기준으로 설계해야 한다.
pandas Unicode 숫자 구분자: 숫자로 바뀐 값보다 원시 토큰을 확인하기
국제화 설정은 표시 옵션에 그치지 않으므로 원시 토큰과 해독에 사용한 실제 구분자를 보존해야 한다.
pandas 병렬 CSV의 결측 마스크: 줄어든 결측률을 승인하기 전에
처리 속도 변경 전후의 결측 추세를 비교하려면 동일 원시 토큰에 대한 결측 판정의 연속성을 먼저 확인해야 한다.
pandas ODS covered 셀 읽기: 빈 병합 자리와 저장된 계산값 구별
화면상의 병합 여부와 값 존재 여부를 분리해야 작성자가 계산한 관측을 임의 결측으로 분류하지 않는다.
pandas object uint64의 JSON 출력: 큰 식별자가 음수로 바뀌는 경계
식별자 보존은 값 범위뿐 아니라 원천의 부호와 정확한 십진 표현을 교환 경계에서 대조해야 한다.
pandas CSV·Excel MultiIndex: 열 튜플과 계층 이름을 따로 보존하기
값의 배열이 같더라도 열 계층의 이름은 이용자가 해석하는 축의 의미이므로 별도 승인해야 한다.
pandas calamine과 pyarrow 혼합 열: 수량과 코드의 타입 정책
혼합 타입을 정제 오류로 단정하기 전에 해당 열이 수량인지 속성값 목록인지 합의해야 한다.
pandas read_json의 큰 정수 오류: 계산값과 식별자 보존 계약 나누기
큰 정수가 식별자·정확한 계수·시각 중 무엇인지 먼저 정해야 파싱 성공을 위해 의미를 줄이는 선택을 피할 수 있다.
pandas json_normalize의 결측 목록 원소: 삭제 전 원본 위치 보존
실패를 피하려고 빈 항목을 삭제하기 전에 그 항목이 관측 누락인지 단순 포장인지 결정해야 한다.
