DecisionTree check_input=False: 검증 완료 표시가 결측 마스크를 대신할 수 없는 이유
입력 검사를 생략할 때는 알고리즘이 검사 과정에서 만들던 정보까지 무엇이 필요한지 확인해야 한다.
한 팀의 검사 완료가 다른 팀의 입력 준비는 아니다
검증 완료라는 한 개의 flag로 후속 알고리즘이 필요한 파생 정보를 대신할 수 없다. dtype과 배열 모양을 확인했다는 사실이 결측 위치에 대한 정보까지 준비됐음을 뜻하지는 않는다. 입력 검사를 줄여 처리 시간을 아끼려면 생략하는 단계가 단순한 거절 검사인지 필요한 정보를 계산하는 단계인지 구분해야 한다. [1, 2, 3]
공개 fit 경로에서 빠진 정보
scikit-learn 이슈 35048은 DecisionTree의 fit에 check_input=False를 주면 결측 feature 마스크 계산을 건너뛰어 NaN을 일반 값처럼 처리하는 경우를 보고한다. 원문은 private _fit의 마스크 전달과 공개 fit을 구분하며 공개 API에서는 같은 방식으로 마스크를 넘길 수 없다고 설명한다. 내부 forest 경로의 사용을 외부 호출의 안전성 근거로 그대로 가져오면 안 된다. [1]
검증 범위를 항목별로 나누어 인계한다
공유 전처리 인수표에 결측 검사와 결측 mask 생성 범위를 나누고, 필요한 정보가 없는 skip 경로는 사용하지 않는다. 어떤 데이터가 검사됐고 어떤 파생 자료가 생성됐는지 따로 남긴다. 공개 API에서 필요한 정보를 전달할 수 없다면 기본 검사 경로를 유지하는 것이 우선이며, private 메서드를 호출하도록 우회 지침을 일반화하지 않는다. [1, 3]
검사 플래그가 참이어도 정보는 없을 수 있다
설명용 데이터에 NaN이 있고 dtype 검사만 완료됐다고 하자. 알고리즘이 필요로 하는 마스크의 기대 상태는 available이다. 실제 자료가 available이면 이 준비 조건은 충족한다. absent인데 검사 완료 플래그만 있으면 사용을 보류한다. 이 표기는 작업 인수표의 상태 이름이지 scikit-learn의 실제 API 인자가 아니다. 우리가 트리를 학습해 성능 차이를 재현했다는 의미도 아니다. [1, 3]
Truthound의 역할은 준비 조건의 모순 찾기
Truthound Core 3.3.2의 ConditionalExpressionValidator는 결측을 포함한 skip 요청 같은 condition 아래서 필요한 준비 상태를 then_expr로 확인할 수 있다. 검사는 실제 입력에서 추출한 결측 여부와 실행 경로 기록을 전제로 한다. Truthound가 트리용 마스크를 대신 생성하거나 비공개 API를 안전하게 만들지는 않는다. 검증 범위 표의 통과와 모델 학습 결과의 타당성도 별도로 확인해야 한다. [1, 2, 3]
적용 조건
caller, contains_missing, mask_available, skip_input_checks 표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.
대안
검증을 수행하는 지원된 공개 경로를 유지하고 최적화가 필요하면 명시된 입력 범위를 확인한다.
한계
공개 API가 mask 전달을 지원한다고 주장하지 않으며 private API 호출을 일반 해법으로 권하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
