RAG/Eval Dataset Governance
RAG 지식 데이터와 eval dataset을 repository workflow와 evidence gate로 운영하는 방법입니다.
정의
RAG/Eval dataset governance는 AI 시스템을 grounding하거나 평가하는 데이터 자산을 versioning, review, gate, release, rollback하는 실천입니다.
문제
문서, chunk, prompt, label, example이 바뀌면 AI 동작도 바뀝니다. 이 자산들이 versioning과 승인 없이 바뀌면 regression을 설명하거나 결과를 재현하기 어렵습니다.
Styxis 관점
Styxis는 데이터 변경부터 산업 기계 신호까지, 자동화되는 운영환경에서 발생한 사건을 추적 가능하고 검증 가능한 proof로 바꿉니다.
제품 연결
Truthound Depot은 RAG 지식 데이터와 eval dataset 변경을 metadata-only Depot workflow로 검토하고 branch, compare, quality gate, approval, release, rollback evidence를 남깁니다.
FAQ
RAG 데이터는 왜 별도로 관리해야 하나요?
RAG 지식 데이터는 모델 재학습 없이 답변을 바꿉니다. 그래서 문서 변경에도 review, evidence, release control이 필요합니다.
Eval dataset governance에는 무엇이 들어가나요?
Prompt, expected answer, label, example, scoring rubric, negative case, production incident case를 함께 versioning해야 합니다.
Styxis는 이것을 어떻게 구체화하나요?
Styxis는 RAG/Eval 데이터를 loose document가 아니라 release asset으로 다루고, 각 승격 결정에 증거를 연결합니다.