Arrow tdigest의 NaN 결과: 먼저 q 범위를 검사하기
유효하지 않은 분위수 요청과 정상 요청의 근사 오차는 서로 다른 문제다.
집계 전에 검사할 입력
분위수 출력 품질을 보기 전에 확률 매개변수의 도메인을 검사해야 한다. 잘못된 q가 NaN으로 돌아오면 결측 집계처럼 처리되기 쉽다. 요청 설정을 별도 데이터로 보관하면 계산 결과를 살피기 전에 잘못된 매개변수와 실제 데이터 문제를 구분할 수 있다. [1, 2, 3]
같은 잘못된 q에 서로 다른 응답
PyArrow 26.0.0 보고는 q=[0.5, 1.5]에 quantile은 오류를 내지만 tdigest는 정상 값과 NaN을 함께 반환한다고 설명한다. 그룹 집계의 hash_tdigest도 범위 밖 q에 NaN을 반환하는 예를 제시한다. 원문은 q=NaN의 계약은 별도로 확인하지 않았다고 명시하므로 이 자료로 그 동작까지 단정하지 않는다. [1]
확률 목록을 실행 입력으로 보존하기
요청한 q 목록을 실행 입력으로 기록하고 0에서 1 사이의 유한 확률인지 검증한 뒤 집계를 시작한다. job_id와 알고리즘 이름을 함께 남기고 q 목록의 모든 원소를 검사한다. 일부 q만 유효할 때 유효한 결과만 골라 전체 요청이 성공한 것처럼 기록하면 누락된 백분위의 의미를 설명하기 어렵다. [1, 3]
설명용 상한 검사와 전체 입력 정책
상한 1을 기준으로 q=0.5는 정상이고 q=1.5는 실패다. 이 두 설명용 사례는 상한만 다루며 실제 입력 정책은 하한 0과 유한성 조건도 필요하다. Truthound Core의 BetweenValidator에 0과 1을 경계로 지정할 수 있지만 NaN 배제는 별도 검사로 명시한다. 유효한 q를 확보한 뒤에야 tdigest의 근사 오차가 업무 허용 범위에 드는지 다른 기준으로 평가한다. [1, 2, 3]
적용 조건
job_id, requested_q, algorithm 설정 표를 원본 또는 독립 대조 경로에서 준비하고 관측 대상과 동일한 실행·파일·키 범위로 연결한다.
대안
확률 옵션을 먼저 검증하는 wrapper를 사용하고 근사 정확도는 별도 평가한다.
한계
유효한 q는 tdigest 근사 오차가 허용 범위임을 보장하지 않는다. 원문은 q=NaN의 계약을 확인하지 않았다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
