Styxis
Company
Knowledge

ProtoJSON quoted 숫자의 언어별 차이: raw token에서 교환 규칙 정하기

언어별 숫자 수용과 교환 입력 계약을 분리해야 한다. 수신 경계에서 승인한 ASCII 숫자 정책을 적용하고 원문은 별도로 보존한다.

변환값 앞의 raw token

언어별 숫자 수용과 교환 입력 계약을 분리해야 한다. 수신 경계에서 승인한 ASCII 숫자 정책을 적용하고 원문은 별도로 보존한다. Truthound에는 숫자로 바뀐 값만 넘기지 않는다. 원시 문자를 보존해야 특정 runtime이 받아들인 것을 조직이 승인한 portable 입력으로 오인하지 않는다. [1, 2, 3]

의도와 호환성의 다른 판단

Protobuf #29893은 quoted numeric의 비ASCII 숫자를 Python·Java는 받고 C++은 거절하는 차이를 보고한다. 유지관리자는 ASCII 의도를 확인하면서 호환성 때문에 즉시 변경하기 어렵다고 설명했다. 유지관리자는 C++의 ASCII 방식이 의도라고 설명하면서 기존 수용을 바꾸는 호환성 비용을 지적했다. 비ASCII 문자가 string에서 왕복하는 대조군은 UTF-8 전반의 실패가 아님을 보여 준다. [1]

runtime accept matrix

같은 quoted token을 여러 runtime에 보내 accept matrix를 만들고, ASCII-only 계약 밖 숫자를 조용히 통과시키지 않는다. 숫자 변환 전에 Unicode codepoint와 field 종류를 남긴다. numeric admission과 사용자 언어 문자열의 보존을 같은 정책으로 묶지 않는다. [1, 3]

١٢٣과 ASCII 123

설명용 교환 계약은 ASCII 0~9만 허용한다. token ١٢٣은 그 정책에서 기대 admission 0이다. Python의 숫자 123 변환 성공만으로 admission 1이면 실패다. ASCII 123은 별도 정상 대조군이다. 기대 0과 관측 0은 거절 정책을 지킨다. 1은 실패다. ASCII 123은 정상 대조군이므로 모든 숫자 문자열을 막는 규칙은 아니다. [1, 3]

정책 플래그를 대조하기

Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 ascii_policy_admission과 admitted_by_boundary를 relationship="=="로 비교한다. 운영자가 raw token 정책과 관측 결과를 비결측 플래그로 준비한다. SDK는 runtime parser나 Protobuf 호환성 정책을 바꾸지 않으며 일반 언어권 문자열을 금지하지 않는다. [1, 2, 3]

언어 문자열은 별도 보존

명시적 Unicode 숫자 정규화를 승인한 별도 단계로 두거나 ASCII 교환 표현만 수신하는 대안을 선택한다. 같은 문자를 string field에 보존하는 경로는 별도 정상 계약이다. 변환 후 123만 남겨 원래 입력을 보이지 않게 만들지 않는다. [1, 3]

적용 조건

원시 token을 숫자 변환 전에 보존하고 업무 문자열과 numeric field를 구분하며 ASCII-only 정책을 명시한다.

대안

승인된 명시적 Unicode 숫자 정규화를 별도 단계로 두거나 ASCII 교환 표현만 수신한다.

한계

  • Truthound는 각 runtime parser나 Protobuf 호환성 정책을 바꾸지 않는다. 언어권 문자열 일반을 금지하는 규칙으로 확대하지 않는다.

근거

사건 확인일
대상 확인일
수정일