단일 클래스 fold의 adjusted balanced accuracy: 미정의 상태를 점수와 구분하기
유효 클래스가 하나인 fold의 보정 점수를 임의의 유한값으로 바꾸면 평가 모집단과 지표의 의미가 달라진다.
숫자를 채우기 전에 정의역을 본다
집단별 평가를 공유할 때 미정의 지표를 최악 성능이나 좋은 성능으로 치환하지 말고 적용 영역을 함께 알려야 한다. 작은 fold나 불균형 집단에서는 유효 클래스가 하나만 남을 수 있다. 이때 값이 계산됐다는 사실과 그 값으로 모델을 비교할 수 있다는 판단은 분리해야 한다. [1, 2, 3]
분모가 0인 보정 경로
scikit-learn 이슈 34889는 balanced_accuracy_score의 adjusted=True에서 내부 결측 필터 뒤 유효 클래스가 하나면 NaN 또는 음의 무한대가 반환되는 사례를 제시한다. 원문은 유효 클래스 수로 정한 chance가 1이 되어 1-chance로 나누는 경로를 설명한다. 이 보고가 어떤 대체 점수가 올바른지까지 확정한 것은 아니다. 글에서는 미정의 상태를 숨기지 않는 평가 전달 정책을 제안한다. [1]
빠진 fold도 평가 범위에 남긴다
fold별 유효 클래스 수와 chance 보정 적용 가능성을 기록하고 미정의 fold를 값 평균에서 분리해 coverage와 함께 보고한다. 미정의 fold를 제외한 평균을 전체 대상의 평균이라고 표시하면 공동 평가 모집단이 바뀐 사실을 숨기게 된다. 표본 수와 제외 이유를 함께 남기고 지표를 다시 정의하거나 분할을 조정할지는 평가 책임자가 결정한다. [1, 3]
유한값을 만들었다고 정상은 아니다
설명용 fold의 유효 클래스가 1개면 chance 보정 분모는 0이다. 기대 상태를 undefined로 두고 실제도 undefined로 남기면 정의역을 보존한다. 임의 숫자를 넣어 finite_score로 표시하면 미정의 상태를 지운 것이므로 실패다. 유한값 검사는 그 숫자를 통과시킬 수 있어 이 문제를 해결하지 못한다. 두 상태 이름은 평가 원장의 제안 표현이며 API 반환 enum이 아니다. [1, 3]
Truthound로 상태의 적용 조건을 확인한다
Truthound Core 3.3.2의 ConditionalExpressionValidator는 준비된 유효 클래스 수에 따라 평가 상태가 맞는지 조건부로 검사할 수 있다. 클래스 수와 보정 가능성을 외부에서 정확히 계산하고 결측 처리 정책을 정해야 한다. Truthound가 적절한 대체 점수나 공정한 평가 분할을 선택하지는 않는다. 미정의 범위를 공개한 뒤 다시 계산한 결과와 원래 결과를 구분해 인계한다. [1, 2, 3]
적용 조건
fold_id, effective_class_count, adjusted_metric_defined, score 표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.
대안
평가 분할·지원 클래스 조건을 재설계하거나 해당 목적에 정의된 다른 지표를 사용한다.
한계
미정의 fold를 몰래 제외하면 공동 평가 모집단이 달라지므로 제외 범위와 표본수를 함께 보고해야 한다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
