Styxis
Company
Knowledge

pandas 병렬 CSV의 결측 마스크: 줄어든 결측률을 승인하기 전에

처리 속도 변경 전후의 결측 추세를 비교하려면 동일 원시 토큰에 대한 결측 판정의 연속성을 먼저 확인해야 한다.

pandas 병렬 CSV의 결측 마스크: 줄어든 결측률을 승인하기 전에

수집기를 병렬화한 직후 결측률이 낮아졌다면 먼저 입력 해석이 달라졌는지 살펴본다. 청크별 추론이 같은 토큰을 서로 다르게 다루면 dtype이 같아도 결측 행의 집합은 달라질 수 있다. 대시보드의 개선 수치를 설명하기 전에 행별 토큰 정책으로 이 변화를 대사해야 한다. [1, 2, 3]

공개 원문이 보여 준 범위

pandas 개발 경로의 병렬 read_csv가 청크별 추론을 하면서 같은 파일의 nan 토큰 일부를 결측 대신 문자열로 남겼다는 보고다. 예시에서는 직렬 경로와 병렬 경로의 열 dtype이 같아도 결측 개수가 달랐다. [1]

입력과 출력에서 확인할 관계

결측률 대시보드를 갱신하기 전에 승인한 NA 토큰 정책으로 위치별 기준 마스크를 만들고 직렬 대조와 병렬 결과를 함께 확인한다. row_id와 원시 토큰을 유지해야 같은 전체 결측률 뒤에 서로 다른 행이 숨는 일을 찾을 수 있다. 차이가 발생한 기간은 데이터 개선으로 설명하기보다 수집 동작의 변경 구간으로 추적한다. [1, 3]

승인 기준과 실패 사례

설명용 정책에서 원시 토큰 nan은 결측을 뜻하므로 기대 마스크는 true이다. 병렬 결과가 이를 유효 문자열로 남겨 false를 기록했다면 이 정책을 충족하지 못한다. 이것은 원래 토큰의 의미를 보존하는 검사이며 낯선 문자열을 모두 결측으로 바꾸라는 규칙이 아니다. 직렬 결과 자체보다 명시한 토큰 정책을 기준으로 삼아야 두 경로가 같은 실수를 하는 경우도 놓치지 않는다. [1, 3]

Truthound를 연결하는 검사 경계

Truthound Core 3.3.2의 ColumnPairValidator로 행별 기준 마스크와 병렬 마스크를 비교할 수 있다. 비교표를 만들 때 원시 행 ID를 유지하고 결측 플래그 자체는 명시적인 Boolean으로 준비한다. 검증기가 CSV 청크를 다시 파싱하거나 직렬 경로를 정답으로 선정하는 것은 아니다. [1, 2, 3]

다른 선택이 필요한 조건

직렬 경로의 모든 값이 정답이라는 뜻은 아니며 원문 보고는 개발 경로와 특정 청크 분포에 한정된다. 검증된 직렬 경로와 명시 dtype·NA 정책으로 해당 파일을 재적재한다. 원천 계약이 nan을 유효한 문자열로 정의했다면 결측으로 바꾸는 규칙 자체가 잘못이다. [1, 3]

적용 조건

row_id, raw_token, serial_missing, parallel_missing 대조표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.

대안

검증된 직렬 경로와 명시 dtype·NA 정책으로 해당 파일을 재적재한다.

한계

  • 직렬 경로의 모든 값이 정답이라는 뜻은 아니며 원문 보고는 개발 경로와 특정 청크 분포에 한정된다.

근거

사건 확인일
대상 확인일
수정일