Styxis
Company
Knowledge

Pipeline.fit_predict의 X_val: 같은 전처리 공간으로 전달됐는지 확인하기

학습값은 표준화됐는데 검증값이 원래 단위로 전달돼도 예외가 없을 수 있다. 최종 estimator의 입력 경계를 검사한다.

전처리 설정만으로 전달 결과를 가정하지 않는다

학습·검증 자료가 같은 feature 공간을 공유하는지는 최종 estimator가 받은 값으로 확인해야 한다. Pipeline에 같은 scaler가 연결되어 있어도 metadata 경로가 다르면 검증값은 변환되지 않은 채 전달될 수 있다. 검증 담당자는 설정 화면보다 실제 전달값과 학습된 전처리기의 대응을 인계받아야 한다. [1, 2, 3]

fit과 fit_predict를 구별한 재현 보고

scikit-learn 이슈 35031은 metadata routing과 transform_input에 X_val을 지정한 Pipeline에서 fit_predict만 검증값을 변환하지 않는 사례를 제시한다. 최종 estimator가 받은 X_val을 기록하는 사용자 정의 모델로 fit과 비교했다. 원문은 전달값의 문제를 보여 준 것이며, 내장 모델의 잘못된 예측이나 운영 장애를 재현한 것은 아니라고 범위를 분명히 한다. [1]

검증값에 다시 fit하지 않는다

최종 estimator 경계에서 X_val을 기록하고 fitted 전처리기의 독립 transform 결과와 대사한다. 검증 표에 scaler를 새로 학습하면 원래 학습 공간과 다른 기준이 되므로 그 값을 정답으로 쓰지 않는다. 적용 메서드와 학습된 전처리기의 식별자를 같이 남겨 같은 객체·변수 순서로 비교했는지 확인한다. [1, 3]

평균에 있는 값은 0으로 이동한다

설명용 학습값 0·10·20·30의 평균은 15다. 그 자료에 학습된 표준화기로 검증값 15를 변환하면 기대값은 0이다. 최종 단계가 0을 받으면 이 조건을 충족하지만 15를 받으면 원래 공간의 값을 전달한 것이므로 실패다. 이 입력에서는 기대 결과를 직접 도출할 수 있다. 더 일반적인 실수 비교는 적용 정밀도와 허용 오차를 별도로 정해야 한다. [1, 3]

Truthound에서 두 경로를 대사한다

Truthound Core 3.3.2의 ColumnPairValidator로 최종 전달값과 독립 transform 결과를 같은 행·feature로 대응시킨 두 열을 비교할 수 있다. 결측값의 존재도 별도로 확인한다. 검증기가 Pipeline의 라우팅을 바꾸지는 않으며, 값의 대응만으로 평가 표본 독립성이나 label 누출을 증명하지도 않는다. 영향 경로를 수정한 뒤 fit과 fit_predict의 실제 경계를 다시 확인한다. [1, 2, 3]

적용 조건

execution_method, validation_row_id, received_value, fitted_transform_value 표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.

대안

검증 metadata를 지원 경로에서 변환하고 fit과 fit_predict의 경계 입력을 회귀 비교한다.

한계

  • metadata 일치가 학습 결과·예측 성능·early stopping의 품질을 직접 증명하지 않는다.

근거

사건 확인일
대상 확인일
수정일