Styxis
Company
Knowledge

DuckDB Parquet glob보다 먼저 timestamp 정밀도를 정하자

glob의 첫 파일이 바뀌어도 timestamp 정밀도가 유지되는지 실제 값을 비교한다. 출력 dtype만 확인하면 이미 반올림된 시간을 정상으로 승인할 수 있다.

파일 이름에 정밀도를 맡기지 않는다

혼합 파일 집합의 timestamp 정밀도를 첫 파일 이름이 결정하게 두지 않는다. 목표 정밀도를 정한 뒤 원본 소수초와 출력의 정수 표현을 Truthound Core로 대조하면 값 보존을 별도로 확인할 수 있다. [1, 2, 3]

첫 파일이 달라진 후속 보고

DuckDB #28070은 2.0의 mixed-unit Parquet glob에서 첫 파일이 schema를 바꾸어 나노초가 마이크로초로 반올림될 수 있다고 보고한다. union_by_name 대조와 1.5.5의 다른 절삭 동작도 구분한다. [1]

순서와 물리 단위를 남긴다

파일 순서, 물리 timestamp 단위, 출력 dtype과 원본 값을 보존한다. 앞에 다른 단위 파일을 추가하고 dtype과 실제 값을 함께 비교한다. dtype 이름만 보면 이미 반올림된 값을 놓칠 수 있다. [1, 3]

211 nanoseconds의 차이를 숨기지 않는다

원본 .123456789는 정수 123456789 nanoseconds다. 이를 유지하면 무손실 계약을 통과한다. .123457로 반올림한 123457000 nanoseconds는 211 nanoseconds가 달라 실패한다. 정답은 glob 출력이 아니라 원본 소수초에서 계산한다. [1, 3]

정확한 정수로 준비한 비교

Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 비결측 정수 나노초 열을 ==로 대조할 수 있다. 변환 전에 단위와 정확한 값을 추출해야 한다. SDK는 DuckDB 파일 schema를 선택하거나 잃은 정밀도를 복구하지 않는다. [1, 2, 3]

전체 schema 확인의 비용도 평가한다

명시한 목표 schema와 union_by_name을 비교하고 모든 파일 schema를 보는 비용도 평가한다. 해당 read_parquet에서 maximum_sample_files가 지원된다고 가정하지 않는다. 실제 인터페이스와 버전에서 옵션을 확인한다. [1, 3]

허용 반올림은 별도 계약이다

저렴한 읽기 경로는 파일 순서를 바꾸어도 요구 정밀도를 보존할 때 승인한다. 마이크로초 반올림을 허용한다면 이를 바뀐 계약으로 기록한다. 무손실이라는 이름으로 같은 결과처럼 다루지 않는다. [1, 3]

적용 조건

파일 순서·물리 timestamp 단위·원시 소수초를 보존한다.

대안

명시 schema와 union_by_name의 보존·비용을 함께 검증한다.

한계

  • dtype 확인은 이미 반올림된 정밀도를 복원하지 못한다.

근거

사건 확인일
대상 확인일
수정일