Styxis
Company
Knowledge

DuckDB의 전부 NULL인 Parquet 자식에도 목표 타입이 필요하다

NULL-only struct 자식의 cast는 실행 성공을 확인한 뒤 반환 타입과 NULL 위치를 검사한다. 연결이 무효화된 실패를 올바른 타입의 결측 결과로 집계하지 않는다.

결측과 타입은 별도 속성이다

모든 값이 NULL이어도 중첩 필드의 목표 타입은 남는다. 값 결측과 scan에 밀어 넣은 cast 경로를 따로 검사한다. 엔진 실행이 끝난 뒤 Truthound Core로 실제 반환 열의 dtype을 확인할 수 있다. [1, 2, 3]

예외가 난 결과를 만들어 내지 않는다

DuckDB #28183은 2.0에서 NULL 타입 Parquet struct 자식의 VARCHAR cast가 INTERNAL Error를 내고 DB를 invalidated 상태로 만든다고 보고한다. 후속 댓글은 cast 없는 비교 필터도 제시한다. 예외를 실제 출력 행으로 바꾸어 설명해서는 안 된다. [1]

연결 후속 상태까지 남긴다

NULL-only와 실제 문자열 자식을 각각 읽고 목표 dtype, 출력 schema, NULL 위치와 후속 query 가능 여부를 기록한다. TRY_CAST나 명시 schema 대조 전에 원본 오류를 보존한다. [1, 3]

NULL 타입과 NULL 값을 혼동하지 않는다

목표가 VARCHAR이면 반환된 VARCHAR 열은 값이 모두 NULL이어도 dtype 조건을 통과한다. 가상의 출력 dtype NULL은 실패다. 여기서 NULL은 타입 이름이다. 실제 엔진이 예외를 냈다면 이 가상 출력 행을 실행 결과로 지어 넣지 않는다. [1, 3]

반환 타입의 표현을 맞춘다

Truthound Core Python SDK 3.3.2의 ColumnTypeValidator는 expected_types로 실제 반환 열을 검사한다. Polars로 물질화한다면 VARCHAR를 지원 문자열 dtype에 대응시키는 규칙을 정한다. SDK는 invalidated DuckDB 연결을 복구하지 않는다. [1, 2, 3]

예외 억제만으로는 부족하다

실환경에서 TRY_CAST와 명시 schema를 비교하고 실패 세션은 별도로 보존한다. 예외를 숨겼다는 결과는 원래 값이 남았거나 연결을 계속 사용할 수 있다는 보장이 아니다. [1, 3]

실행 상태를 schema보다 먼저 확인한다

완료 기록은 실행 성공을 먼저, schema를 다음에 보여 줘야 한다. 그래야 실패하거나 수행하지 못한 cast를 올바르게 타입이 지정된 결측 자료처럼 집계하지 않는다. [1, 3]

적용 조건

실제 반환 열과 NULL 위치·연결 상태를 성공 실행 뒤 수집한다.

대안

TRY_CAST·명시 schema를 실환경에서 대조하고 실패 세션을 분리한다.

한계

  • 예외 실행에 가상 dtype 결과 행을 지어 넣지 않는다.

근거

사건 확인일
대상 확인일
수정일