Styxis
Company
Knowledge

IATI 형식 검증을 통과해도 새 품질 평점은 달라질 수 있다

형식 적합성과 자료의 시의성·범위·충실도는 서로 다른 검사 결과로 관리해야 한다.

두 검사가 다른 답을 내릴 때

IATI 파일이 정해진 형식을 따르더라도 필요한 활동이 빠져 있거나 갱신 시점이 오래되면 이용자의 질문에 답하지 못할 수 있다. 반대로 새 평점이 낮다는 이유만으로 파일 형식이 잘못되었다고 말할 수도 없다. Truthound를 연결할 때도 이 두 결론을 하나의 통과 값으로 압축하지 않는 것이 출발점이다.

초안이 바꾸려는 관점

IATI는 2026년 10월 23일 Reimagining Data Quality의 세 번째 의견 수렴을 열었다. 초안은 Availability, Timeliness, Coverage, Comprehensiveness를 다루며 2027년 2분기 공개 예정인 새 대시보드의 바탕이 된다. 평점의 지표·임계값·가중치는 의견 수렴 뒤 확정할 대상이다.

점수 전에 대상 집합을 적기

점수를 계산하기 전에 무엇이 있어야 하는지 적는다. 특정 발행자가 공개해야 할 활동의 기대 집합인지, 이미 공개한 활동에서 필요한 필드인지에 따라 분모가 달라진다. 모든 발행자에 같은 필수 항목을 적용할 수 있는지도 지표 정의에서 확인해야 한다. 단순히 전체 행 수를 분모로 쓰면 범위와 충실도가 같은 지표로 축소된다.

없음과 미관측을 나누기

해당 기간에 실제 활동이 없었던 경우, 아직 자료가 공개되지 않은 경우, 수집기가 읽지 못한 경우는 나눠야 한다. 세 상태를 모두 0건으로 채우면 점수의 의미를 설명할 수 없다. 관측 가능성과 업무상 ‘없음’을 분리한 뒤 어느 행을 평점 계산에 포함했는지 남긴다.

Truthound에서 검사할 좁은 부분

준비한 Polars 표를 입력으로 받는 Truthound Core Python SDK 3.3.4의 CompletenessRatioValidator는 사용자가 정한 최소 비결측 비율을 검사한다. ConditionalExpressionValidator에는 적용 대상 행의 조건을 줄 수 있다. 이 기능은 초안의 모든 차원을 자동 구현하지 않는다. 지표별 모집단과 null 의미, 분모를 조직이 정의한 부분을 점검하는 데 한정해서 사용한다.

기존 pandas와 공식 Validator의 자리

이미 pandas로 결측 마스크를 관리한다면 isna 경로를 유지할 수 있다. 빈 문자열과 무한대가 기본 NA가 아니라는 점을 포함해 지표 정의와 맞춰야 한다. IATI XML의 공식 형식 검증은 IATI Validator의 별도 역할로 남긴다. 일반 표 검사와 공식 규격 검증 중 하나가 다른 하나를 대체한다고 볼 이유는 없다.

임계값을 낮추지 않고 비교하기

대안을 비교할 때 낮은 점수를 통과시키려고 임계값을 바꾸지 않는다. 같은 입력에 초안 지표 버전과 내부 업무 기준을 각각 적용하고 왜 결과가 다른지 본다. 내부 기준이 더 엄격해도 공식 평점을 그렇게 발표해서는 안 되며, 초안 값을 확정 규칙처럼 표시해서도 안 된다.

하루별 점수의 변화가 뜻하는 것

일별 점수가 변하면 자료가 개선된 것인지 관측 조건이나 지표 정의가 바뀐 것인지 구분한다. 새 파일이 도착한 시각과 활동의 실제 갱신 시각, 검사에 쓴 지표 버전을 함께 보존해야 같은 점수를 나중에 재현할 수 있다.

선택할 산출물은 점수표 두 장

산출물은 형식 적합성 결과와 자료 유용성에 대한 지표표를 나란히 두는 편이 낫다. 사용자는 어느 활동을 읽을 수 있고 어떤 정보가 부족한지 알아야 한다. 단일 등급보다 두 결과의 차이를 설명할 수 있을 때 다음 자료 개선 요청도 구체적이 된다.

적용 조건

IATI 공개 자료에서 추출한 표와 지표별 대상 범위·관측 시점을 정의한다.

대안

pandas의 기존 isna 마스크와 공식 IATI Validator를 각자의 범위에서 유지할 수 있다.

한계

  • 초안 지표와 임계값은 확정된 공식 점수가 아니며 결측 비율 하나로 개발협력 자료의 유용성을 판정할 수 없다.

근거

사건 확인일
대상 확인일
수정일