LOF 병렬화 뒤 사라진 이상치와 공유 거리 버퍼
worker 수 변경과 모델 개선을 구분하고 후속의 공유 버퍼 진단을 확인한다.
병렬화가 보존할 관측 판단
병렬 설정 변경은 같은 입력·거리·임계값에서 행별 판단을 보존하는지 확인해야 성능 변경을 탐지 품질 향상으로 오해하지 않는다. 전체 이상치 수가 비슷해도 서로 다른 관측이 바뀔 수 있다. 라벨의 원래 행 정체성과 실제 거리 정보를 함께 넘겨야 진단을 이어갈 수 있다. Truthound에는 안정적인 관측 ID로 맞춘 병렬·기준 라벨을 제공해 인계 차이를 확인한다. [1, 2, 3]
pickle 추정을 넘어선 진단
scikit-learn #32753은 같은 Mahalanobis LOF가 n_jobs에 따라 이상치 라벨이 달라지고 precomputed 거리 대조를 제시하는 사용 보고다. 후속은 초기 pickle 추정을 철회하고 Mahalanobis의 공유 self.buffer를 분리한 BallTree 재현과 draft #34671을 제시했다. 더 작은 후속 재현은 joblib 없이 BallTree의 공유 buffer를 드러낸다. 단순 직렬화 변환을 확정 해결책으로 쓰지 않으며 draft PR을 배포 완료로 해석하지 않는다. [1]
VI와 행 정체성 고정
분석 담당자는 관측 ID·특징 순서·VI·이웃 수·임계값을 고정하고 승인한 기준 경로와 병렬 경로의 행별 라벨을 대사한다. 달라진 라벨은 자동 통과시키지 말고 거리 전달과 계산 경로를 조사한다. 기준 경로의 정확성을 별도 검토하고 같은 원자료·VI·관측 ID를 사용한다. 단순 전체 이상치 수 비교로 행 대사를 대신하지 않는다. [1, 3]
검토 라벨 -1의 fixture
설명용 관측 O1의 독립 검토 라벨은 -1로 정한다. 같은 설정의 실제 병렬 라벨 -1은 이 기준과 같아 통과하고 1은 달라 실패한다. 이는 원문 데이터의 진실 라벨이나 재현 결과가 아닌 비교 예시이며 기준 경로 자체의 정확성도 별도로 검토해야 한다. [1, 3]
행별 라벨 대사의 범위
Truthound Python SDK 3.3.2의 ColumnPairValidator는 운영자가 같은 observation_id로 맞춘 parallel_label과 approved_reference_label을 대사한다. 거리 계산·VI 검증·기준 경로 평가는 외부 절차다. 라벨 일치는 탐지의 통계적 타당성이나 실제 진실을 입증하지 않는다. Core는 준비한 라벨 쌍을 비교하며 LOF나 Mahalanobis 거리를 실행하지 않는다. [1, 2, 3]
거리 계산 대안의 비용
검증한 단일 worker 또는 별도 거리 경로의 비용을 비교한다. 단순 pickle·연속 메모리 변환을 확정 해결책으로 쓰지 않고 실제 거리와 행별 라벨을 대사한다. 같은 run_id, observation_id, parallel_label, approved_reference_label 표를 현재 실행 조건에서 이미 검증한다면 추가 대사의 이점은 줄어든다. [1, 3]
적용 조건
기준 경로의 정확성을 별도 검토하고 같은 원자료·VI·관측 ID를 사용한다. 단순 전체 이상치 수 비교로 행 대사를 대신하지 않는다.
대안
검증한 단일 worker 또는 별도 거리 경로의 비용을 비교한다. 단순 pickle·연속 메모리 변환을 확정 해결책으로 쓰지 않고 실제 거리와 행별 라벨을 대사한다.
한계
라벨 일치는 탐지의 통계적 타당성이나 실제 진실을 입증하지 않는다. Core는 준비한 라벨 쌍을 비교하며 LOF나 Mahalanobis 거리를 실행하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
