단위만 바뀐 Welch ANOVA의 유의성 판단을 대사하기
원자료와 공통 scale을 함께 남긴다. 수치 경계로 뒤집힌 판정을 골라 보고하지 않는다.
단위 변환이 바꾸면 안 되는 판단
공통 비영 스케일에 불변이어야 할 검정에서 입력 단위만 바뀌면 같은 판단이 나오는지 독립 기준과 비교해야 한다. 공통 비영 단위 변환이 실제 연구 가설을 바꾸지는 않는다. 같은 결론을 요구하는 수학적 조건과 실제 검정 가정은 함께 기록한다. Truthound에는 같은 유의수준으로 준비한 원자료·변환자료의 판정 대조표를 제공한다. [1, 2, 3]
인공 축소 입력의 범위
SciPy #26146은 2^-511로 공통 축소한 인공 입력의 Welch ANOVA가 overflow와 함께 p값을 바꾸어 0.05 유의성 결정을 뒤집는 사례를 보고한다. 후속은 고정밀 대조와 가중치 정규화 수정 제안을 제시했다. 이를 일반 관측 자료의 발생 빈도나 모든 배포판의 수정 보증으로 전달하지 않는다. [1]
동일한 검정 조건을 고정한다
연구 담당자는 원자료·공통 scale·검정 설정을 보존하고 승인한 유의수준에서 각 결과의 판단을 대조한다. 달라진 결과를 선택적으로 보고하지 말고 수치 경로와 실제 오차를 재검토한다. analysis_id, observed_significance, reference_significance 표를 운영자가 실제 실행 결과와 독립 입력·정책에서 각각 준비하고 실행 ID로 연결한다. 결측·실행 실패는 수치 성공과 별도로 기록한다. [1, 3]
49/1849와 0.05의 독립 비교
설명용 독립 p값 기준 49/1849는 유의수준 0.05보다 작으므로 기대 유의 판정은 true다. 실제 true는 통과하지만 p=0.05611184474에서 나온 false는 달라 실패한다. 판정의 일치만으로 실제 p값 자체의 정확성까지 검증된 것은 아니다. [1, 3]
판정 대사와 통계 타당성
Truthound Python SDK 3.3.2의 ColumnPairValidator는 운영자가 동일 유의수준으로 만든 observed_significance와 reference_significance를 비교한다. scale·검정 설정과 기준 계산은 외부 입력이다. 판정 일치는 p값 자체의 정확성이나 연구 설계를 입증하지 않는다. Core는 외부에서 계산한 판정을 비교하며 Welch ANOVA와 고정밀 기준을 실행하지 않는다. [1, 2, 3]
재스케일링 대안도 공개한다
검증된 공통 재스케일링과 고정밀 기준을 비교하고 원 단위와 모든 판단 변화를 보고한다. 이미 analysis_id, observed_significance, reference_significance 표를 같은 입력·범위로 검증하는 회귀 시험이 있다면 별도 검사 추가의 이점은 작다. [1, 3]
적용 조건
원자료·공통 scale·검정 설정·유의수준과 독립 판정을 함께 보존한다.
대안
검증한 재스케일링과 고정밀 기준을 비교하고 모든 판단 변화를 보고한다.
한계
판정 일치는 p값 정확성이나 연구 설계·검정 가정을 입증하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
