Styxis
Company
Knowledge

Dask와 NumPy 누적합 차이: 청크 경계보다 먼저 정할 오차 예산

부동소수점 누적합의 차이는 독립 기준과 사전 오차 예산에 비추어 해석해야 한다.

Dask와 NumPy 누적합 차이: 청크 경계보다 먼저 정할 오차 예산

두 누적합 곡선이 청크 경계에서 벌어졌다는 사실만으로 어느 결과가 업무에 부적합한지는 결정되지 않는다. 부동소수점 연산은 합산 순서에 민감하고 큰 누적값의 작은 차이도 업무마다 의미가 다르다. 먼저 요구 정확도와 비교 기준을 정해야 차이를 관찰한 뒤 기준을 유리하게 바꾸는 일을 피할 수 있다. [1, 2, 3]

보고의 범위와 전제

Dask 공개 보고는 청크 경계 이후 NumPy와 누적합이 달라지는 현상을 제시하며 덧셈의 비결합성 가능성을 질문한다. 원문만으로 허용 오차를 넘는 결함이나 확정 원인이 입증되지는 않는다. 이 글은 보고를 출발점으로 검증 계약을 제안하며 해당 계산을 독립 재현했다고 주장하지 않는다. [1]

입력에서 확인할 관계

입력, dtype, 청크 구성을 고정하고 각 누적 위치의 오차를 독립 고정밀 기준과 비교한다. 업무 담당자와 허용 오차를 먼저 합의한 뒤 위치별 절대 오차와 승인 예산을 같은 표에 남긴다. 기준 계산의 비용과 보정 합계 같은 대안도 정확도 요구에 맞추어 평가한다. [1, 3]

승인 기준을 정하는 작은 사례

설명용 업무가 절대 오차 예산을 0.0001로 미리 승인했다고 가정한다. 독립 기준과의 차이가 0.000001이면 통과하고 0.01이면 예산을 초과한다. 이 숫자는 원문 측정값이나 과학·재무 업무에 공통으로 적용할 권장치가 아니다. 정확 정수 합산이 필요한 업무라면 이 계약부터 다시 정해야 한다. [1, 3]

Truthound 검사에 넘길 경계

Truthound Core의 ColumnPairValidator는 운영자가 계산한 absolute_error가 agreed_error_budget 이하인지 검사하는 구성요소로 연결할 수 있다. 고정밀 기준 계산과 예산 설정은 외부에서 수행해야 하며 검증기가 수치 알고리즘을 고치지는 않는다. NumPy와 비트 단위로 일치한다는 조건을 모든 업무의 정답으로 삼는 대신 명시한 정확도 계약을 검사한다. [1, 2, 3]

적용 조건

고정 입력·dtype·청크에 대한 독립 기준 오차와 사전 승인한 업무 예산을 같은 누적 위치로 연결한다.

대안

고정밀 또는 보정 합계를 기준으로 업무 허용 오차와 성능 비용을 함께 평가한다.

한계

  • 임의 예산을 실제 과학·재무 업무에 적용할 수 없고 NumPy와 비트 단위 동일성을 보편 정답으로 삼지 않는다.

근거

사건 확인일
대상 확인일
수정일