Bagging의 X_val 전달: 하위 모델마다 검증 feature도 같은 순서로 잘라야 한다
학습 표만 부분 열로 줄이고 검증 자료를 그대로 넘기면 두 입력이 다른 feature 공간을 가리킨다.
같은 표라는 말에 열 선택도 포함한다
검증 자료도 학습 자료와 동일한 feature ID·순서를 적용해야 각 팀의 결과가 같은 입력 공간을 가리킨다. ensemble 전체에 전달한 표와 각 하위 모델이 실제로 본 표는 같지 않을 수 있다. 검증 담당자가 전체 열을 잘 준비했다는 사실만으로 하위 모델의 입력 계약까지 충족되지는 않는다. [1, 2, 3]
열을 줄인 학습과 그대로 전달된 metadata
scikit-learn 이슈 35047은 Bagging이 학습 입력의 feature를 부분 선택하면서 라우팅한 X_val은 전체 열 그대로 전달하는 경우를 보고한다. HistGradientBoosting을 받는 하위 모델에서 열 수가 맞지 않는 오류를 제시한다. 보고자는 행에 맞춘 metadata 처리와 feature에 맞춘 처리의 차이를 지적한다. 이 원문은 학습 실패 사례이며 성공한 모든 ensemble의 점수가 틀렸다는 증거는 아니다. [1]
하위 모델의 선택 목록을 결과와 함께 전달한다
estimator별 선택 feature 목록을 검증 데이터에 함께 적용하고 폭뿐 아니라 feature ID 순서를 대조한다. bootstrap_features가 반복 위치를 만들 수 있다면 원래 feature ID와 선택 위치를 함께 남긴다. 같은 이름의 열을 중복 허용하지 않는 표로 옮길 때는 위치를 구분하는 별칭과 원래 이름의 매핑을 보관해야 선택 의미를 잃지 않는다. [1, 3]
열 수가 같아도 age와 income은 다르다
설명용 하위 estimator의 첫 특징이 age라면 검증 입력의 같은 위치도 age여야 한다. age이면 그 위치의 대응은 통과한다. income이면 폭이 같아도 다른 변수의 값을 준 것이므로 실패다. 첫 위치 하나의 성공을 전체 열 정합성으로 확대하지 않고 선택된 모든 위치를 확인한다. 기대 목록은 검증 출력에서 다시 만드는 것이 아니라 학습 시 선택 기록에서 가져온다. [1, 3]
Truthound에 전달할 실제 열 계약
Truthound Core 3.3.2의 ColumnOrderValidator는 expected_order에 지정한 표의 열 순서를 검사한다. estimator별 검증 입력을 정확한 열 이름을 가진 표로 준비하고, 반복 선택은 위치별 별칭으로 표현한 뒤 그 순서를 비교할 수 있다. 별칭과 원래 feature ID의 대응은 별도 보존한다. Truthound가 metadata routing을 수정하지 않으며 열 정합성만으로 검증 표본의 독립성이나 label 누출이 없음을 보장하지도 않는다. [1, 2, 3]
적용 조건
estimator별 실제 검증 feature 표와 승인 expected_order를 준비한다. estimator_id, train_feature_position, train_feature_id, validation_feature_id를 보존하며 반복 선택은 위치별 별칭과 원래 feature ID 매핑으로 구분한다.
대안
feature 선택 목록을 estimator artifact에 포함하고 학습·검증에 같은 선택 함수를 사용한다.
한계
열 정합 검사가 validation 표본의 독립성이나 label 누출을 보장하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
