Truthound · 머신러닝 데이터 검증
특성·레이블·평가 입력의 대응 관계를 확인합니다.
20 편
희소 무벌점 회귀의 예측 인계
상수 열·절편·벌점을 기록하고 독립 예측 기준을 대사한다.
LOF 병렬화 뒤 사라진 이상치와 공유 거리 버퍼
worker 수 변경과 모델 개선을 구분하고 후속의 공유 버퍼 진단을 확인한다.
큰 float32 회귀의 잔차와 rank cutoff를 함께 인계하기
표본 수·정밀도·cutoff를 기록하고 잔차와 가중치 일관성을 함께 검토한다.
Crammer–Singer 반복 수를 자동 재학습 신호로 쓰기 전에
joint solver의 실제 계측과 보고 반복 수를 대사하고 경고만으로 재학습하지 않는다.
범주 코드의 크기와 트리가 지원하는 범주 수 구분하기
원래 라벨을 바꾸기 전에 값의 범위와 범주 개수의 차이를 확인한다.
DecisionTree check_input=False: 검증 완료 표시가 결측 마스크를 대신할 수 없는 이유
입력 검사를 생략할 때는 알고리즘이 검사 과정에서 만들던 정보까지 무엇이 필요한지 확인해야 한다.
scikit-learn class_weight의 문자열 키: 숫자로 보이는 라벨도 타입을 보존하기
문자열 라벨을 정수로 바꾸면 같은 글자처럼 보여도 가중치 사전에서는 다른 키가 된다.
partial_fit의 전부 NaN인 배치: 새 관측 없음이 누적 통계 삭제는 아니다
유효 관측이 없는 feature의 새 배치를 기존 통계의 무효화로 처리하면 이후 정상 입력까지 NaN으로 변환될 수 있다.
RFECV support 해석: 선택 개수와 원래 feature 축을 혼동하지 않기
subset 하나의 support 결과도 원래 입력 feature 전체에 대한 벡터다. 문서의 shape 설명을 그대로 집계 기준으로 쓰지 않는다.
KBinsDiscretizer 근상수 특징: 최종 bin이 0개가 되는 경계 검사
상수뿐 아니라 아주 작은 양의 범위를 가진 특징도 구간화 시험에 포함해야 한다.
NCA 문자열 라벨 거절: 인코딩 우회에서도 클래스 의미 보존
라벨 표현을 바꾸기 전에 지원 범위와 양방향 대응표를 확인해야 한다.
IterativeImputer 뒤 원본 결측값이 바뀐다면: 공유 입력의 소유권 검사
전처리 출력만 채우기로 했다면 원본의 결측 마스크도 보존되어야 한다. 데이터 공유의 계약을 호출 전후로 확인한다.
HGB 전부 결측 특징의 오류: 0 채우기 전에 관측 의미 확인
학습 실패를 피하려고 미관측 값을 임의의 숫자로 채우면 데이터의 의미가 달라진다.
Pipeline.fit_predict의 X_val: 같은 전처리 공간으로 전달됐는지 확인하기
학습값은 표준화됐는데 검증값이 원래 단위로 전달돼도 예외가 없을 수 있다. 최종 estimator의 입력 경계를 검사한다.
FeatureAgglomeration 역변환: 반환 컨테이너와 원래 feature 폭을 함께 인계하기
모양이 맞는 값이라도 역변환이 컨테이너를 받아들이지 못할 수 있다. 성공 여부와 출력 열 수를 분리해 확인한다.
Bagging의 X_val 전달: 하위 모델마다 검증 feature도 같은 순서로 잘라야 한다
학습 표만 부분 열로 줄이고 검증 자료를 그대로 넘기면 두 입력이 다른 feature 공간을 가리킨다.
RandomProjection n_components=auto: 확정 차원과 출력 열 이름을 함께 검증하기
auto는 요청 방식이며 실제 출력 차원은 학습 후 확정된다. 이름 생성과 컨테이너 변환도 이 확정값을 사용해야 한다.
scikit-learn auc와 uint8 감소 좌표: 삼각형 면적으로 방향 오류 확인
같은 곡선은 좌표의 수치 표현을 바꾸어도 같은 면적을 가져야 한다.
단일 클래스 fold의 adjusted balanced accuracy: 미정의 상태를 점수와 구분하기
유효 클래스가 하나인 fold의 보정 점수를 임의의 유한값으로 바꾸면 평가 모집단과 지표의 의미가 달라진다.
DSPy OutputField 범위 제약: 전송 스키마와 응답 점수 검사
모델 출력 형식 실험은 스키마 생성과 응답 후 업무 규칙 검사를 분리해야 한다.
