참조 데이터가 계속 열려 있어도 과거 분석은 사라질 수 있다
생명과학 참조 데이터의 장기 이용은 최신 접근성뿐 아니라 사용한 버전과 연결 관계를 보존하는 문제다.
열려 있는 주소와 남아 있는 분석
참조 데이터의 주소가 계속 열려 있다고 과거 분석을 다시 설명할 수 있는 것은 아니다. 최신판의 항목과 연결이 달라졌다면 같은 식별자로 조회해도 이전과 다른 맥락을 받게 된다. Truthound는 생물학적 정답을 고르는 도구보다 분석이 사용한 참조 집합과 결과 표의 관계를 점검하는 데 두는 편이 맞다.
지속성을 위한 유럽의 지원
유럽연합 집행위원회는 2026년 10월 6일 GENCODE, UniProt, Europe PMC와 더 넓은 생명과학 자료 생태계를 위해 6,500만 유로를 배정한다고 밝혔다. 유지보수와 지속성을 위한 지원이며 보조금 협약 평가 절차가 남아 있다. 발표 금액을 이미 집행된 지원으로 바꿔 말해서는 안 된다.
스냅샷을 분석의 일부로 두기
분석 결과 옆에는 사용한 참조 스냅샷의 이름과 버전, 확보 시점, 적용한 식별자 규칙이 필요하다. 최신 자료로 분석을 갱신할 수는 있지만 원래 결과가 어느 참조를 보았는지는 남겨 둔다. 데이터 접근의 지속성과 분석 근거의 지속성을 따로 설계해야 한다.
같은 식별자가 같은 상태는 아니다
식별자가 유지되어도 설명이 수정되거나 항목이 철회되고 다른 항목으로 연결될 수 있다. 현재 결과에서 찾을 수 없는 식별자는 입력 오류일 수도 있고 버전 변화의 결과일 수도 있다. 원래 스냅샷과 최신 스냅샷을 구분하지 않으면 두 원인을 같은 누락으로 취급하게 된다.
Truthound에 제공할 참조 집합
준비한 Polars 표를 입력으로 받는 Truthound Core Python SDK 3.3.4의 ReferentialIntegrityValidator는 제공한 reference_data의 참조 열과 입력 값을 대조한다. MultiColumnUniqueValidator는 accession과 버전 같은 복합 키의 중복을 검사할 수 있다. 참조 자료와 키를 사용자가 준비해야 하며 원격 저장소의 항목 의미를 자동 확인하거나 최신 스냅샷을 대신 확보하는 기능으로 해석하지 않는다.
조인 검사를 유지할 이유
pandas 3.1.1의 merge(validate=...)로 이미 결과와 참조를 연결한다면 그 관계 검사를 유지할 수 있다. 1:1 또는 1:m의 키 유일성을 검사하는 일과 값이 승인된 스냅샷에 속하는지 보는 일은 다른 경계다. 기존 조인을 지우기보다 어느 단계에서 버전과 누락을 확인할지 분명히 하는 비교가 필요하다. pandas의 양쪽 null 키 매칭을 참조 항목의 확인으로 세지 않도록 accession이 없는 행을 따로 남긴다.
철회 자료를 지우면 생기는 일
철회 항목을 과거 스냅샷에서도 삭제하면 이전 분석이 왜 그 항목을 사용했는지 설명하기 어렵다. 철회 상태와 대체 식별자, 변경 근거를 새 버전에 남기고 과거 사용 기록과 연결하는 편이 낫다. 현재 사용을 허용할지와 과거 근거를 보관할지는 같은 삭제 결정이 아니다.
보관 비용을 어디에 쓸까
보관 비용이 제약이라면 모든 중간 파일을 무작정 쌓기보다 분석을 설명하는 참조 버전과 연결표부터 우선순위를 정한다. 문헌 연결이 따로 바뀌는 경우도 구분한다. 핵심은 주소를 많이 저장하는 것이 아니라 어떤 결과가 어떤 자료 상태에 의존했는지 복원할 수 있게 하는 것이다.
다음 갱신을 승인할 조건
다음 갱신은 새 자료를 받았다는 사실보다 변경이 미친 영향을 설명할 수 있을 때 승인한다. 새로 생긴 항목, 연결이 바뀐 항목, 현재 결과의 미해결 참조를 분리해 검토한다. 참조 데이터의 장기 자산 가치는 최신 접근과 과거 설명을 함께 유지할 때 분석에도 이어진다.
적용 조건
합법적으로 확보한 참조 스냅샷과 식별자·버전 규칙을 제공한 표에 적용한다.
대안
기존 pandas 3.1.1 조인의 카디널리티 검사와 참조 소속 확인을 분리해 유지할 수 있다.
한계
참조 연결 검사는 생물학적 해석이나 임상적 타당성을 판정하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
