partial_fit의 전부 NaN인 배치: 새 관측 없음이 누적 통계 삭제는 아니다
유효 관측이 없는 feature의 새 배치를 기존 통계의 무효화로 처리하면 이후 정상 입력까지 NaN으로 변환될 수 있다.
공백 배치에도 이전 관측은 남는다
새 관측 없음은 이전 관측의 무효화와 다르므로 feature별 누적 지지집합과 상태를 보존해야 한다. 스트리밍 수집에서 한 feature만 잠시 비어 있어도 다른 feature는 계속 들어올 수 있다. 배치 전체의 처리 성공만 인계하면 특정 열의 누적 통계가 사라진 사실을 다음 분석자가 놓치게 된다. [1, 2, 3]
오류 없이 끝난 갱신의 영향
scikit-learn 이슈 35143은 MinMaxScaler와 MaxAbsScaler의 partial_fit에서 이전에 유효값이 있던 feature에 전부 NaN인 다음 배치를 주면 누적 통계가 NaN으로 덮이는 경우를 보고한다. 이후 유한한 입력도 NaN으로 변환되는 결과를 제시하며, 전체 자료를 한 번에 학습한 경로와 비교한다. 신고된 환경과 비교 결과를 근거로 읽어야 하며 모든 스트리밍 전처리가 같은 문제를 갖는다는 뜻은 아니다. [1]
feature별 갱신 근거를 인계한다
공백 feature가 있는 배치를 따로 표시하고 이전 유효 통계·누적 관측수를 대사한 뒤 변환 결과를 공동 분석에 제공한다. 시간창 만료나 데이터 폐기 정책이 있다면 먼저 그 정책을 기록한다. 오래된 관측을 유지해야 하는 누적 통계와 시간이 지나면 버려야 하는 통계는 같은 불변식을 쓰지 않는다. [1, 3]
최댓값 3이 그대로여야 하는 조건
설명용 첫 배치의 유효값을 1과 3으로 두고, 다음 배치는 해당 feature가 모두 결측이라고 정한다. 관측을 폐기하지 않는다면 기대 최댓값은 이전 3이다. 갱신 후 3이면 통과하지만 NaN이면 유효 관측이 없다는 사실을 누적 정보 없음으로 바꾼 것이므로 실패다. 이전부터 전부 결측이었다면 같은 기대값을 만들 수 없다. NaN이라는 표시는 이 사례에서 결측 통계 상태를 뜻한다. [1, 3]
조건부 검사 뒤에도 갱신기는 따로 고친다
Truthound Core 3.3.2의 ConditionalExpressionValidator는 condition에 해당하는 행만 then_expr로 검사한다. 준비한 표에서 새 유효 관측이 없고 이전 통계가 유효한 경우를 골라 보존 조건을 검사할 수 있다. null과 NaN의 처리 정책을 명시하고 표를 만든 뒤 연결해야 한다. 검사기가 scaler의 내부 상태를 복구하지는 않으므로 영향 feature의 갱신 경로를 수정·재시험하고, 재사용한 통계의 범위를 함께 전달한다. [1, 2, 3]
적용 조건
feature_id, batch_valid_count, previous_max, updated_max 표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.
대안
feature별 유효 관측수와 승인한 forgetting 정책을 분리해 incremental 상태를 갱신한다.
한계
데이터 폐기나 시간창 만료 정책이 있으면 이전 통계를 유지하는 조건이 달라진다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
