Dask와 NumPy 누적합 차이: 청크 경계보다 먼저 정할 오차 예산
부동소수점 누적합의 차이는 독립 기준과 사전 오차 예산에 비추어 해석해야 한다.
Dask와 NumPy 누적합 차이: 청크 경계보다 먼저 정할 오차 예산
두 누적합 곡선이 청크 경계에서 벌어졌다는 사실만으로 어느 결과가 업무에 부적합한지는 결정되지 않는다. 부동소수점 연산은 합산 순서에 민감하고 큰 누적값의 작은 차이도 업무마다 의미가 다르다. 먼저 요구 정확도와 비교 기준을 정해야 차이를 관찰한 뒤 기준을 유리하게 바꾸는 일을 피할 수 있다. [1, 2, 3]
보고의 범위와 전제
Dask 공개 보고는 청크 경계 이후 NumPy와 누적합이 달라지는 현상을 제시하며 덧셈의 비결합성 가능성을 질문한다. 원문만으로 허용 오차를 넘는 결함이나 확정 원인이 입증되지는 않는다. 이 글은 보고를 출발점으로 검증 계약을 제안하며 해당 계산을 독립 재현했다고 주장하지 않는다. [1]
입력에서 확인할 관계
입력, dtype, 청크 구성을 고정하고 각 누적 위치의 오차를 독립 고정밀 기준과 비교한다. 업무 담당자와 허용 오차를 먼저 합의한 뒤 위치별 절대 오차와 승인 예산을 같은 표에 남긴다. 기준 계산의 비용과 보정 합계 같은 대안도 정확도 요구에 맞추어 평가한다. [1, 3]
승인 기준을 정하는 작은 사례
설명용 업무가 절대 오차 예산을 0.0001로 미리 승인했다고 가정한다. 독립 기준과의 차이가 0.000001이면 통과하고 0.01이면 예산을 초과한다. 이 숫자는 원문 측정값이나 과학·재무 업무에 공통으로 적용할 권장치가 아니다. 정확 정수 합산이 필요한 업무라면 이 계약부터 다시 정해야 한다. [1, 3]
Truthound 검사에 넘길 경계
Truthound Core의 ColumnPairValidator는 운영자가 계산한 absolute_error가 agreed_error_budget 이하인지 검사하는 구성요소로 연결할 수 있다. 고정밀 기준 계산과 예산 설정은 외부에서 수행해야 하며 검증기가 수치 알고리즘을 고치지는 않는다. NumPy와 비트 단위로 일치한다는 조건을 모든 업무의 정답으로 삼는 대신 명시한 정확도 계약을 검사한다. [1, 2, 3]
적용 조건
고정 입력·dtype·청크에 대한 독립 기준 오차와 사전 승인한 업무 예산을 같은 누적 위치로 연결한다.
대안
고정밀 또는 보정 합계를 기준으로 업무 허용 오차와 성능 비용을 함께 평가한다.
한계
임의 예산을 실제 과학·재무 업무에 적용할 수 없고 NumPy와 비트 단위 동일성을 보편 정답으로 삼지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
