NumPy cov의 큰 offset: 양의 공분산과 승인 오차 예산 구별하기
양의 공분산도 단위와 offset에 필요한 정확도를 잃을 수 있으므로 원점 이동 불변성과 독립 오차 예산을 확인해야 한다.
값의 부호 밖에 있는 정확도
양의 공분산도 단위와 offset에 필요한 정확도를 잃을 수 있으므로 원점 이동 불변성과 독립 오차 예산을 확인해야 한다. Truthound가 받을 오차 기준은 값을 본 뒤 넓히지 않는다. 수치 오차와 전체 복사 메모리 비용은 서로 다른 측정표로 관리해야 비용 개선 제안을 정확도 증거로 오인하지 않는다. [1, 2, 3]
보고와 제안 patch의 다른 근거
NumPy #33022는 cov의 전체 float64 복사 비용과 큰 offset에서 중심화 정밀도 손실을 보고한다. 제안 최적화의 채택은 별도다. 후속 유지관리자 댓글은 block Python loop의 scaling에 의문을 표시했다. 제안 patch가 채택됐거나 성능이 보장됐다는 문장으로 바꾸지 않는다. [1]
같은 통계 정의로 대사하기
통계 담당자는 원시 값·offset·ddof·메모리 측정과 공분산 기준을 보존한다. 기준 밖 상대 오차가 있으면 추정치를 보류하고 안전한 원점 이동과 메모리 대안을 검토한다. 같은 ddof·축·가중치를 사용하고 원점 이동이 차이를 손실 없이 보존하는지 확인한다. 기준 공분산이 0인 항은 상대 오차의 분모로 쓰지 않는다. [1, 3]
사전에 정한 오차 상한
설명용 분석은 상대 오차 예산을 사전 0.00001로 정한다. 독립 중심화 기준과 비교한 오차 0.000001은 이 상한 이하라 통과하고 0.00031은 초과해 실패한다. 기준값이 0인 항에는 별도 절대 오차 정책을 적용한다. 이 규칙은 같은 값인지가 아니라 승인 상한 이하인지를 비교한다. [1, 3]
이하 관계를 검사하기
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 covariance_relative_error가 approved_relative_error_budget 이하인지 relationship="<="로 비교할 수 있다. 운영자가 오차와 예산을 준비하며 SDK는 cov를 재계산하거나 메모리 peak를 측정하지 않는다. 제안 patch의 성능·정확도도 이 비교로 보증되지 않는다. [1, 2, 3]
정확도와 메모리의 두 승인
검증한 원점 이동·안정 누적과 실제 규모의 메모리 측정을 병행한다. 차감 전 원자료가 이미 근사화됐다면 원점 이동이 잃은 정보를 복구하지는 않는다. 동일 조건의 오차 대사가 있다면 이를 재사용하되 자원 비용은 별도 승인한다. [1, 3]
적용 조건
원점 이동이 원자료의 차이를 손실 없이 보존하는지 확인하고 같은 ddof·축·가중치와 사전 오차 기준을 사용한다.
대안
검증한 원점 이동·안정 누적과 메모리 측정을 병행하고 실제 데이터 규모의 자원 비용을 비교한다.
한계
Core는 외부 오차와 예산을 비교하며 공분산을 재계산하거나 전체 복사 비용을 측정하지 않는다. 제안 patch의 성능이나 수치 정확성을 보증하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
