Styxis
Company
Knowledge

NumPy cov의 큰 offset: 양의 공분산과 승인 오차 예산 구별하기

양의 공분산도 단위와 offset에 필요한 정확도를 잃을 수 있으므로 원점 이동 불변성과 독립 오차 예산을 확인해야 한다.

값의 부호 밖에 있는 정확도

양의 공분산도 단위와 offset에 필요한 정확도를 잃을 수 있으므로 원점 이동 불변성과 독립 오차 예산을 확인해야 한다. Truthound가 받을 오차 기준은 값을 본 뒤 넓히지 않는다. 수치 오차와 전체 복사 메모리 비용은 서로 다른 측정표로 관리해야 비용 개선 제안을 정확도 증거로 오인하지 않는다. [1, 2, 3]

보고와 제안 patch의 다른 근거

NumPy #33022는 cov의 전체 float64 복사 비용과 큰 offset에서 중심화 정밀도 손실을 보고한다. 제안 최적화의 채택은 별도다. 후속 유지관리자 댓글은 block Python loop의 scaling에 의문을 표시했다. 제안 patch가 채택됐거나 성능이 보장됐다는 문장으로 바꾸지 않는다. [1]

같은 통계 정의로 대사하기

통계 담당자는 원시 값·offset·ddof·메모리 측정과 공분산 기준을 보존한다. 기준 밖 상대 오차가 있으면 추정치를 보류하고 안전한 원점 이동과 메모리 대안을 검토한다. 같은 ddof·축·가중치를 사용하고 원점 이동이 차이를 손실 없이 보존하는지 확인한다. 기준 공분산이 0인 항은 상대 오차의 분모로 쓰지 않는다. [1, 3]

사전에 정한 오차 상한

설명용 분석은 상대 오차 예산을 사전 0.00001로 정한다. 독립 중심화 기준과 비교한 오차 0.000001은 이 상한 이하라 통과하고 0.00031은 초과해 실패한다. 기준값이 0인 항에는 별도 절대 오차 정책을 적용한다. 이 규칙은 같은 값인지가 아니라 승인 상한 이하인지를 비교한다. [1, 3]

이하 관계를 검사하기

Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 covariance_relative_error가 approved_relative_error_budget 이하인지 relationship="<="로 비교할 수 있다. 운영자가 오차와 예산을 준비하며 SDK는 cov를 재계산하거나 메모리 peak를 측정하지 않는다. 제안 patch의 성능·정확도도 이 비교로 보증되지 않는다. [1, 2, 3]

정확도와 메모리의 두 승인

검증한 원점 이동·안정 누적과 실제 규모의 메모리 측정을 병행한다. 차감 전 원자료가 이미 근사화됐다면 원점 이동이 잃은 정보를 복구하지는 않는다. 동일 조건의 오차 대사가 있다면 이를 재사용하되 자원 비용은 별도 승인한다. [1, 3]

적용 조건

원점 이동이 원자료의 차이를 손실 없이 보존하는지 확인하고 같은 ddof·축·가중치와 사전 오차 기준을 사용한다.

대안

검증한 원점 이동·안정 누적과 메모리 측정을 병행하고 실제 데이터 규모의 자원 비용을 비교한다.

한계

  • Core는 외부 오차와 예산을 비교하며 공분산을 재계산하거나 전체 복사 비용을 측정하지 않는다. 제안 patch의 성능이나 수치 정확성을 보증하지 않는다.

근거

사건 확인일
대상 확인일
수정일