DuckDB CSV TRY_CAST 실패를 결측률로 덮지 않는 수집 계약
파싱할 수 없는 값, 격리한 행, 실행 자체의 실패는 서로 다른 결과다.
빈 결과는 실패의 대체물이 아니다
허용된 파싱 실패와 실행 실패를 같은 결측 개수로 취급하면 안 된다. 품질 검사에 들어갈 표가 만들어지지 않았는데 빈 표를 대신 전달하면 정상적인 빈 배치와 구별할 수 없다. Truthound의 결측 검사는 실행 성공을 입증한 뒤에만 의미가 있다. [1, 2, 3]
TRY_CAST가 엄격한 읽기로 바뀐 경로
DuckDB 공개 보고는 CSV 문자열에 TRY_CAST를 적용했을 때 변환 불가 값이 NULL이 되는 대신 스캔 전체를 실패시키는 경우를 설명한다. type_pushdown을 끈 대조 경로에서는 다른 결과가 제시된다. 이는 파싱 오류를 허용한다는 SQL 수준의 의도가 스캐너로 그대로 전달됐는지 확인해야 할 이유다. [1]
착지와 변환을 분리하기
원시 문자열을 보존하고 수집 성공·변환 성공·격리 레코드를 별도로 집계한다. 성공한 배치의 결측 허용률만 검사하며 실패한 실행은 빈 데이터로 승인하지 않는다. 격리 목록에는 원시 레코드 식별자와 변환 이유를 남겨 재처리 범위를 알 수 있게 한다. [1, 3]
비율 검사는 성공한 배치에서
설명용 업무가 최소 비결측 비율을 0.98로 정했다면 0.99는 통과하고 0.90은 실패한다. 분모는 성공적으로 착지한 검사 범위이며, 읽지 못한 파일을 분모에서 조용히 빼서는 안 된다. 실패한 실행에는 이 수치 판정을 적용하지 않고 실행 실패 상태를 유지한다. [1, 3]
Truthound의 검사와 운영 대안
Truthound Core의 CompletenessRatioValidator에 승인한 최소 비율을 설정하고 실제 생성된 parsed_value 열을 검사할 수 있다. 원시 문자열을 먼저 착지시키고 별도 단계에서 변환하는 방식은 실패 범위를 드러내는 대안이다. 검사는 optimizer를 바꾸거나 누락된 CSV 데이터를 복구하지 않는다. 재처리 후에는 성공한 파일 목록도 원래 수집 계획과 다시 맞춰야 한다. [1, 2, 3]
적용 조건
raw_value, parsed_value, conversion_status를 갖춘 실제 착지 표와 성공·실패 파일 목록을 같은 수집 실행에 연결한다.
대안
원시 CSV 문자열을 먼저 착지시킨 뒤 별도 단계에서 변환·격리한다.
한계
Truthound가 DuckDB optimizer를 바꾸거나 실패한 CSV 스캔의 결과를 복구하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
