NumPy Unicode strip: 제거 문자 순서가 보관 코드를 바꾸지 않게 하기
정제 문자 집합은 순서가 아니라 코드포인트 집합으로 해석하는 계약을 명시하고 원문 기반 기준 정제값과 비교해야 한다.
원문과 제거 정책을 함께 보관하기
정제 문자 집합은 순서가 아니라 코드포인트 집합으로 해석하는 계약을 명시하고 원문 기반 기준 정제값과 비교해야 한다. Truthound로 대사할 때는 원문과 제거 정책을 남겨 정제 출력이 바뀐 이유를 추적한다. 다국어 이름이나 코드를 빈 값으로 만드는 작업일수록 byte와 문자의 단위를 섞지 않는다. [1, 2, 3]
실행과 소스 확인의 차이
NumPy #33125는 StringDType의 strip chars에서 multibyte Unicode 뒤 ASCII가 제거되지 않고 chars 순서에 따라 결과가 달라지는 보고다. 최초 보고의 2.3.5 실행과 2.5.4 소스 점검을 나눠 읽는다. 후속 댓글은 개발 branch에서 byte 길이 원인을 확인했다고 했지만 그 사실이 수정 릴리스 배포를 뜻하지는 않는다. [1]
빈 결과의 의미를 지키기
정제 담당자는 원문·허용 제거 문자 집합·코드포인트를 보존하고 독립 문자열 연산으로 기준을 만든다. chars 순서에 따라 달라진 값은 키 정규화에 사용하지 않는다. 정책이 codepoint인지 정규화 문자 단위인지 먼저 정하고 원문을 보존한다. 빈 문자열과 NULL을 같은 결측으로 바꾸기 전에 감사 표현의 충돌도 확인한다. [1, 3]
{é,a}가 정의하는 기대값
설명용 원문 a의 제거 문자 집합은 {é,a}다. a가 집합에 있으므로 문자 순서와 관계없이 기대 결과는 빈 문자열이다. 비교표에서는 이를 sentinel EMPTY로 표기하며 원시 값도 보존해 실제 글자 EMPTY와 충돌하지 않게 한다. 빈 문자열을 나타내는 EMPTY는 통과하고 a가 남으면 실패한다. [1, 3]
정제 문자열의 제한된 대사
Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 independently_cleaned_text와 cleaned_text를 relationship="=="로 대조한다. 원문 정책과 충돌 없는 빈 표현은 운영자가 준비한다. SDK는 UTF-8 검색 코드를 고치거나 Unicode normalization 정책을 대신 정하지 않는다. [1, 2, 3]
다국어 경계 시험을 유지하기
검증된 Python 문자열 정제 경로를 사용하고 같은 정책으로 multibyte 경계 시험을 유지한다. 올바른 fixed-width 대조군을 발견해도 모든 입력을 그 폭으로 바꾸는 결정은 출력 길이와 저장 비용을 다시 검토해야 한다. 이미 검증한 소비 경로는 같은 근거를 재사용할 수 있다. [1, 3]
적용 조건
제거 정책이 코드포인트 단위인지 정규화 문자 단위인지 먼저 정하고 원시 문자열을 유지한다.
대안
검증한 Python 문자열 정제 또는 다른 경로를 사용하고 같은 정책의 Unicode 경계 회귀 시험을 추가한다.
한계
Core는 준비한 정제 문자열 쌍을 비교하며 UTF-8 검색 코드를 고치지 않는다. 빈 문자열과 NULL은 별도로 표현해야 한다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
