Styxis
Company
Knowledge

IterativeImputer 뒤 원본 결측값이 바뀐다면: 공유 입력의 소유권 검사

전처리 출력만 채우기로 했다면 원본의 결측 마스크도 보존되어야 한다. 데이터 공유의 계약을 호출 전후로 확인한다.

다른 분석자가 볼 원본을 지킨다

공유 입력의 소유권과 결측 마스크를 보존해야 전처리를 선택하지 않은 동료의 분석도 같은 원본에 접근할 수 있다. 대체 결과가 잘 나왔더라도 원본 배열까지 바뀌면 다음 분석자는 관측값과 대체값을 구별하기 어렵다. 전처리 담당자가 반환값만 검사하는 것으로는 팀의 원본 보존 계약을 확인할 수 없다. [1, 2, 3]

메모리 배치에 따라 달라진 보고

scikit-learn 이슈 35157은 keep_empty_features=True인 IterativeImputer가 전달받은 Fortran 순서의 float64 배열을 변경하는 경우를 보고한다. 모두 결측인 열이 원본에서도 0으로 바뀌고, pandas의 읽기 전용 뷰에서는 쓰기 오류가 발생했다고 한다. 보고자는 C 순서 배열의 복사 경로와 구분한다. 이는 보고된 입력 조건의 문제이며 모든 대체 호출이 원본을 바꾼다고 일반화할 수 없다. [1]

공유 데이터 재사용의 인수표

입력 복사본·메모리 순서·결측 마스크를 기록하고 호출 후 원본의 허용 밖 변경을 검사해 공유 데이터의 재사용을 승인한다. 원본과 대체 결과는 다른 참조로 보관하고, 비교할 행·열 식별자도 고정한다. 복사본 자체가 원본과 메모리를 공유하면 비교 기준도 함께 바뀔 수 있으므로 독립된 기준을 확보하는 단계가 먼저다. [1, 3]

결측 하나를 보존하는 작은 사례

설명용 원본 셀이 결측이고 변환 출력만 채우기로 정했다면, 원본의 기대 결측 마스크는 true다. 호출 후에도 true이면 원본 보존 조건을 만족한다. false로 바뀌면서 0이 나타나면 관측하지 않은 값을 원본에 써 넣은 것이므로 실패다. 이 마스크 검사는 대체한 0이 통계적으로 적절한지 묻지 않는다. 원본을 바꾸도록 승인한 별도 작업에는 다른 계약이 필요하다. [1, 3]

Truthound에서 비교할 것은 추출한 상태

Truthound Core 3.3.2의 ColumnPairValidator로 행·열별 원본 마스크와 호출 후 마스크를 비교할 수 있다. 두 마스크를 실제 boolean 값으로 추출하고 결측 비교 입력은 먼저 보완해야 한다. 이 검사기가 NumPy 메모리를 보호하거나 imputer를 수리하지는 않는다. 원본 보존에 실패한 경로는 복사·버전 대안으로 다시 시험하고, 통계적 타당성과 후속 분석의 공정성은 별도로 평가한다. [1, 2, 3]

적용 조건

row_id, feature_id, original_missing, after_call_missing, caller_owned 표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.

대안

입력 소유권을 분리한 복사 경로와 결측을 유지하는 원본 저장소를 사용한다.

한계

  • 원본 보존 검사가 대체값의 통계적 타당성이나 downstream 공정성을 증명하지 않는다.

근거

사건 확인일
대상 확인일
수정일