DSPy OutputField 범위 제약: 전송 스키마와 응답 점수 검사
모델 출력 형식 실험은 스키마 생성과 응답 후 업무 규칙 검사를 분리해야 한다.
DSPy OutputField 범위 제약: 전송 스키마와 응답 점수 검사
응답 모델에 점수 범위를 적어 두었어도 provider에 보내는 파생 스키마에 그 조건이 남는지는 별개다. 숫자 응답이 돌아왔다는 사실로 선언한 범위와 간격을 모두 지켰다고 볼 수는 없다. 선언·전송·실제 응답을 연결해야 어느 경계에서 제약이 빠졌는지 확인한다. [1, 2, 3]
공개 원문이 보여 준 범위
DSPy OutputField의 필드 kwargs 제약이 structured-output용 파생 모델에서 사라진다는 보고다. annotation에 담긴 제약은 남는 대조가 있으며 provider 호환성을 이유로 의도된 동작인지 질문한다. [1]
입력과 출력에서 확인할 관계
선언 스키마와 provider에 전송한 스키마의 범위·배수 제약을 비교한다. 응답 점수는 후속 의사결정에 사용하기 전에 별도 품질 경계에서 검사한다. response_id, score, declared_min, declared_max, quarter_step_residual을 기록하면 숫자 응답이 왔다는 사실을 모든 제약이 실행됐다는 증거로 오해하지 않는다. [1, 3]
승인 기준과 실패 사례
설명용 점수 계약은 0부터 1까지이며 허용 간격은 0.25이다. 0.75는 범위 안에 있지만 1.25는 상한을 넘는다. 범위 안에 드는 것과 허용 간격의 격자에 놓이는 것은 다른 조건이므로 배수 여부는 별도로 확인한다. 두 조건을 통과해도 점수가 측정하려는 성질이나 응답의 사실성이 입증되는 것은 아니다. [1, 3]
Truthound를 연결하는 검사 경계
Truthound Core 3.3.2의 BetweenValidator로 응답 표의 score가 승인 범위 안에 있는지 검사할 수 있다. 배수 조건은 정확한 잔여값을 준비한 별도 식 검사로 다룬다. 모델 provider에 어떤 스키마를 보내는지는 adapter가 결정하며, 숫자 범위 통과가 답변의 사실성을 증명하지 않는다. [1, 2, 3]
다른 선택이 필요한 조건
범위 통과는 LLM 답변의 사실성이나 평가 점수의 타당성을 보장하지 않는다. provider가 지원하는 제약은 활용하되 독립 응답 후 검사를 유지한다. 소비자 업무가 점수를 제한하지 않는다면 선언한 상한 자체의 근거부터 다시 정해야 한다. [1, 3]
적용 조건
response_id, score, declared_min, declared_max, quarter_step_residual 표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.
대안
provider가 지원하는 제약은 활용하되 독립 응답 후 검사를 유지한다.
한계
범위 통과는 LLM 답변의 사실성이나 평가 점수의 타당성을 보장하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
