Truthound · 전체 콘텐츠 · 20/24
공개 사건을 근거로 데이터 계약·검사 입력·한계를 설명하는 Truthound Core 검증 실무 자료
480 편
DataFusion Parquet Variant 병합 후 NULL 증가: layout별 존재율을 확인하자
원본 필드의 부재와 reader가 표현을 해석하지 못해 만든 NULL은 구분해야 한다.
DataFusion UNION ALL: 계획 schema와 실제 batch 타입을 따로 검증하기
미리 확인한 schema가 실행 후 수신한 batch의 schema와 같은지 export 경계에서 확인해야 한다.
DataFusion sort 뒤 계산 열을 추가했다면 최종 export 순서를 다시 확인하자
정렬 단계가 계획에 있다는 사실과 최종 파일의 행 순서가 정렬됐다는 사실은 다르다.
DataFusion Decimal 비교 전에 precision−scale의 정수 자릿수를 확인하자
큰 precision 숫자만 보고 안전한 공통 타입이라고 판단하면 필요한 정수 부분이 사라질 수 있다.
DataFusion 집계 후 기본 키: GROUP BY의 실제 grain으로 join을 검증하기
원본의 기본 키가 집계 결과에서도 혼자 유일하다고 가정하면 반복 기여 금액이 사라질 수 있다.
ClickHouse shardNum의 시작 번호가 바뀌면: 범위와 서버 매핑을 함께 검사하기
정수 타입만 맞는 샤드 번호는 분산 결과의 출처 계약을 보장하지 않는다.
ClickHouse 분산 쿼리의 샤드 누락: DNS보다 실제 응답 서버를 확인하자
연결과 쿼리가 성공해도 같은 샤드를 중복으로 읽으면 전체 집계는 틀릴 수 있다.
ClickHouse patch 복구 검증은 ATTACH 이후 merge까지 이어져야 한다
재부착 직후 값이 보인다는 확인만으로 lightweight update 복구를 종료하면 안 된다.
ClickHouse NATS 수집 검사에서 메시지 수와 행 수를 나눠야 하는 이유
메시지 하나가 여러 행을 만들면 수신 성공 횟수만으로 착지 완전성을 알 수 없다.
ClickHouse MATERIALIZED CTE: 마지막 소비자까지 데이터가 남는지 검사하기
공유 중간 결과를 첫 번째 쿼리가 잘 읽었다고 해서 이후 reader도 같은 범위를 읽는 것은 아니다.
ClickHouse·Iceberg 열 이름 재사용: field ID로 필터 결과를 대조하기
이름이 같다는 이유로 과거 파일의 다른 열 통계를 현재 열에 적용하면 정상 행이 빠질 수 있다.
Iceberg binary truncate는 문자 수가 아니다: ClickHouse prefix 검증
UTF-8처럼 보이는 바이트도 binary 파티션에서는 바이트 길이로 잘라야 한다.
DecisionTree check_input=False: 검증 완료 표시가 결측 마스크를 대신할 수 없는 이유
입력 검사를 생략할 때는 알고리즘이 검사 과정에서 만들던 정보까지 무엇이 필요한지 확인해야 한다.
scikit-learn class_weight의 문자열 키: 숫자로 보이는 라벨도 타입을 보존하기
문자열 라벨을 정수로 바꾸면 같은 글자처럼 보여도 가중치 사전에서는 다른 키가 된다.
partial_fit의 전부 NaN인 배치: 새 관측 없음이 누적 통계 삭제는 아니다
유효 관측이 없는 feature의 새 배치를 기존 통계의 무효화로 처리하면 이후 정상 입력까지 NaN으로 변환될 수 있다.
RFECV support 해석: 선택 개수와 원래 feature 축을 혼동하지 않기
subset 하나의 support 결과도 원래 입력 feature 전체에 대한 벡터다. 문서의 shape 설명을 그대로 집계 기준으로 쓰지 않는다.
KBinsDiscretizer 근상수 특징: 최종 bin이 0개가 되는 경계 검사
상수뿐 아니라 아주 작은 양의 범위를 가진 특징도 구간화 시험에 포함해야 한다.
NCA 문자열 라벨 거절: 인코딩 우회에서도 클래스 의미 보존
라벨 표현을 바꾸기 전에 지원 범위와 양방향 대응표를 확인해야 한다.
IterativeImputer 뒤 원본 결측값이 바뀐다면: 공유 입력의 소유권 검사
전처리 출력만 채우기로 했다면 원본의 결측 마스크도 보존되어야 한다. 데이터 공유의 계약을 호출 전후로 확인한다.
HGB 전부 결측 특징의 오류: 0 채우기 전에 관측 의미 확인
학습 실패를 피하려고 미관측 값을 임의의 숫자로 채우면 데이터의 의미가 달라진다.
