Styxis
Company
Knowledge

Polars CPU·GPU CSV 비교: 빈 문자열과 NULL을 구분하는 검사

같은 String 타입이어도 빈 문자열이 부재 상태로 바뀌면 데이터 계약은 달라진다.

String 타입 뒤의 상태 차이

문자열 타입 일치만으로 빈 값과 부재 상태의 의미 보존을 확인할 수 없다. 빈 문자열은 사용자가 값을 비워 둔 상태를 나타낼 수 있고 NULL은 값이 전달되지 않았음을 나타낼 수 있다. 업무에서 이 구분을 유지한다면 엔진 전환의 인수 검사에도 두 상태를 따로 넣어야 한다. [1, 2, 3]

따옴표가 있는 빈 필드

Polars 보고는 한 행의 빈 문자열을 CSV에 따옴표로 기록한 뒤 같은 파일을 CPU와 GPU로 읽는다. CPU는 빈 문자열을 보존하고 GPU는 NULL을 반환하지만 두 결과의 dtype은 String이다. 빈 화면 셀만으로 어느 상태인지 판단할 수 없다는 사례다. [1]

토큰과 디코딩 상태를 연결하기

원시 CSV 토큰의 quoted-empty 여부를 기록하고 CPU·GPU의 상태를 empty, null, text로 나눠 비교한다. quoted-empty, unquoted-missing, nonempty를 원시 상태로 분리하고 같은 record_id로 결과를 연결한다. 출력값의 화면 표시 대신 상태 열을 비교하면 공백만 있는 문자열을 빈 문자열과 혼동하는 문제도 별도로 드러낼 수 있다. [1, 3]

허용 짝과 반례

설명용 계약에서 quoted-empty는 empty로 디코딩해야 한다고 정한다. (quoted-empty, empty)는 정상이며 (quoted-empty, null)은 반례다. 기대 상태는 CPU 출력값을 무조건 복사한 것이 아니라 승인된 CSV 해석 규칙에서 온다. 빈 문자열을 NULL로 통일하는 별도 업무 정책이 있다면 허용 짝을 그 정책에 맞춰 명시해야 한다. [1, 3]

상태 표를 검사하는 Truthound

Truthound Core의 ColumnPairInSetValidator는 원시 상태와 디코딩 상태의 허용 조합을 검사하는 데 사용할 수 있다. 상태를 추출하는 전처리는 별도로 준비해야 하며 NULL 값을 일반 문자열 "null"로 잘못 바꾸지 않도록 구분한다. 이 검사는 GPU 파서를 수리하지 않지만 어떤 상태 전이가 계약을 어겼는지 전달할 수 있다. [1, 2, 3]

적용 조건

record_id, lexical_state, decoded_state 상태 표를 원본 또는 독립 대조 경로에서 준비하고 관측 대상과 동일한 실행·파일·키 범위로 연결한다.

대안

CPU 경로로 원시 lexical 상태를 보존한 뒤 명시적 정규화를 수행한다.

한계

  • 업무가 빈 문자열을 NULL로 정규화하기로 했다면 별도 승인 규칙을 기록해야 한다. 무조건 CPU 의미를 강제하는 정책은 아니다.

근거

사건 확인일
대상 확인일
수정일