RAG/Eval Dataset Governance
RAG 지식 데이터와 eval dataset을 repository workflow와 evidence gate로 운영하는 방법입니다.
정의
RAG/Eval dataset governance는 AI 시스템을 grounding하거나 평가하는 데이터 자산을 versioning, review, gate, release, rollback하는 실천입니다.
문제
문서, chunk, prompt, label, example이 바뀌면 AI 동작도 바뀝니다. 이 자산들이 versioning과 승인 없이 바뀌면 regression을 설명하거나 결과를 재현하기 어렵습니다.
Styxis 관점
Styxis는 자동화된 운영과 사람·AI의 협업을 검증 가능한 업무 기록으로 바꾸는 AX 신뢰 인프라 회사입니다.
제품 연결
Truthound Depot은 가져온 RAG·eval dataset을 암호화된 Data Version으로 보관하거나 선택한 Cloud Source 범위를 검증하고, Draft, Compare, Validation, Review Request, Evidence, Published Version, Restore로 연결합니다.
FAQ
RAG 데이터는 왜 별도로 관리해야 하나요?
RAG 지식 데이터는 모델 재학습 없이 답변을 바꿉니다. 그래서 문서 변경에도 review, evidence, release control이 필요합니다.
Eval dataset governance에는 무엇이 들어가나요?
Prompt, expected answer, label, example, scoring rubric, negative case, production incident case를 함께 versioning해야 합니다.
Styxis는 이것을 어떻게 구체화하나요?
Styxis는 RAG/Eval 데이터를 loose document가 아니라 release asset으로 다루고, 각 승격 결정에 증거를 연결합니다.