Styxis
Company
Knowledge

Delta 뒤 ID 손상을 보기 전에 Arrow 교환 경계를 대사하기

저장 뒤 발견한 오류의 최초 발생 경계를 원문 ID로 확인한다.

발견 지점과 발생 경계

Arrow 교환 경계의 실제 문자열을 먼저 대사해야 저장 이후 발견된 손상을 Delta writer 자체의 문제로 오인하지 않는다. 저장 엔진만 교체하면 그 앞에서 이미 섞인 ID가 그대로 남을 수 있다. 최초 원문 대사 실패가 어느 교환 단계인지 나눠 기록한다. Arrow 직후 값과 원문 ID를 연결한 표를 Truthound에 제공하면 저장 전 손실을 구분할 수 있다. [1, 2, 3]

Delta 없는 후속 재현

Polars #28612는 Arrow 왕복 뒤 Delta로 쓴 긴 문자열 ID가 섞이는 보고다. 후속의 더 작은 MRE는 Delta 없이 Arrow FFI 변환만으로 재현하며 짧은 inline 문자열 뒤의 Utf8View offset을 지목했다. 이 재현이 좁힌 교환 경계의 문제를 저장 엔진 전체의 결함으로 전달하지 않는다. [1]

저장 전 Arrow 값 인계

연동 담당자는 원 ID·행 ID와 Arrow 왕복 직후 문자열을 보존한다. 같은 행의 원문과 다르면 저장하지 말고 짧은 inline 문자열 다음 긴 문자열을 둔 FFI 대조를 수행한다. Arrow 왕복을 별도 시험 대상에서 실행하고 안정적인 row ID와 원문을 비교한다. 표시 길이만으로 값을 승인하지 않는다. [1, 3]

긴 ID의 독립 기준

설명용 두 ID는 short와 a_string_longer_than_12다. 둘째 행의 기대값은 원문 a_string_longer_than_12이며 shorta_string_longer_th는 다른 식별자다. 실제 둘째 ID가 a_string_longer_than_12이면 원문과 같아 통과한다. shorta_string_longer_th이면 달라 실패한다. 행 수와 문자 길이가 그럴듯해도 정체성은 다르다. [1, 3]

문자열 대사와 버퍼 수리

Truthound Python SDK 3.3.2의 ColumnPairValidator는 운영자가 Arrow 왕복 직후 추출한 post_arrow_text와 original_text를 같은 row_id로 비교한다. 교환 실행과 buffer 진단은 외부 절차다. Core는 준비한 문자열 쌍을 비교하며 Utf8View buffer offset을 해석하거나 복구하지 않는다. 후속 재현이 Delta를 배제한다는 범위를 유지하고 출시 수정 완료를 추정하지 않는다. [1, 2, 3]

교환 표현 변경 뒤 재독해

검증된 문자열 교환 표현·라이브러리 조합을 시험하고 Arrow 경계·최종 저장 재독해를 각각 대사한다. 동일 조건의 row_id, post_arrow_text, original_text 표를 이미 독립 기준과 대사한다면 추가 검사의 이점은 작다. [1, 3]

적용 조건

Arrow 왕복을 별도 시험 대상에서 실행하고 안정적인 row ID와 원문을 비교한다. 표시 길이만으로 값을 승인하지 않는다.

대안

검증된 문자열 교환 표현·라이브러리 조합을 시험하고 Arrow 경계·최종 저장 재독해를 각각 대사한다.

한계

  • Core는 준비한 문자열 쌍을 비교하며 Utf8View buffer offset을 해석하거나 복구하지 않는다. 후속 재현이 Delta를 배제한다는 범위를 유지하고 출시 수정 완료를 추정하지 않는다.

근거

사건 확인일
대상 확인일
수정일