Styxis
Company
Knowledge

scikit-learn class_weight의 문자열 키: 숫자로 보이는 라벨도 타입을 보존하기

문자열 라벨을 정수로 바꾸면 같은 글자처럼 보여도 가중치 사전에서는 다른 키가 된다.

팀 사이에서 공유하는 라벨의 정체성

공유 데이터의 클래스 표기는 값뿐 아니라 키 타입도 계약이므로 숫자처럼 보인다고 변환해서는 안 된다. 라벨을 준비한 팀과 가중치를 정한 팀이 같은 표기를 보더라도 한쪽은 문자열, 다른 쪽은 정수로 다루면 조회가 실패할 수 있다. 오류 메시지에 보이는 글자만 비교하면 원래 무엇이 변했는지 놓치기 쉽다. [1, 2, 3]

balanced도 사전 경로를 거칠 수 있다

scikit-learn 이슈 34883은 1.9에서 숫자로 해석 가능한 문자열 클래스가 forest의 class_weight 처리 중 정수로 변환되는 사례를 보고한다. balanced 설정도 내부에서 원래 라벨을 키로 하는 사전을 만든 뒤 다시 조회하는 경로를 거칠 수 있다고 설명한다. 직접 balanced 처리를 사용하는 다른 estimator와는 경로를 구분해야 하며 모든 문자열 라벨이나 모델이 같은 영향을 받는다고 확대하지 않는다. [1]

값과 타입을 같이 보존해 대사한다

원본 라벨과 가중치 key의 타입·값을 대사하고 누락된 클래스가 있으면 학습을 시작하기 전에 매핑을 수정한다. CSV 등으로 감사표를 내보낼 때도 문자열과 정수를 구별할 타입 열을 보존한다. 검사를 위해 둘을 모두 문자열로 바꾸면서 타입 정보를 버리면 바로 그 충돌을 숨기는 셈이 된다. [1, 3]

문자열 1과 정수 1의 다른 조회

설명용 가중치 사전에 문자열 '1' 키가 있고 원본 클래스도 문자열 '1'이면 기대 조회 상태는 matched다. 타입과 값을 보존한 조회가 matched이면 정상이다. 정수 1로 바꾸어 missing이 되면 다른 키를 조회한 것이므로 실패다. 이름이 맞는 다른 클래스가 함께 있다고 이 클래스의 가중치 누락을 정상화해서는 안 된다. 이 예는 가중치의 크기가 적절한지 평가하지 않는다. [1, 3]

Truthound의 참조 표에도 타입 경계를 남긴다

Truthound Core 3.3.2의 ReferentialIntegrityValidator는 입력 열의 값을 준비한 reference_data의 참조 열과 대조한다. 클래스 타입과 값을 구분한 정규화 키를 두 표에 동일 규칙으로 만들면 참조 누락을 찾는 데 연결할 수 있다. 정규화 과정에서 타입을 보존했다는 확인은 별도 필요하다. 검증기가 forest 내부 형변환을 고치거나 가중치 정책의 공정성을 보증하지는 않으므로 수정 후 실제 학습 경로도 다시 시험한다. [1, 2, 3]

적용 조건

original_class_text, original_class_type, weight_key_type, weight_lookup_status 표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.

대안

라벨의 자연 타입을 유지하는 명시 변환을 사용하고 stable 버전과 회귀 비교한다.

한계

  • 키 매칭은 가중치 크기나 공정성 정책의 타당성을 증명하지 않는다.

근거

사건 확인일
대상 확인일
수정일