Styxis
Company
Knowledge

Dask 문자열 compute 결과가 잘릴 때: 첫 블록의 dtype을 의심하는 대조 시험

선언한 문자열 폭이 충분해도 최종 결합 결과는 따로 확인해야 한다.

Dask 문자열 compute 결과가 잘릴 때: 첫 블록의 dtype을 의심하는 대조 시험

현장의 최종 문자열은 선언 dtype이나 블록 미리보기만으로 승인할 수 없다. 각 블록이 다른 폭으로 만들어지면 마지막 결합 단계가 어떤 폭을 선택했는지에 따라 뒤쪽 값이 잘릴 수 있다. 입력 순서가 달라졌을 뿐인데 저장된 텍스트가 변한다면 표시 문제보다 결합 경계를 먼저 확인한다. [1, 2, 3]

보고의 범위와 전제

Dask 이슈 12684는 서로 다른 문자열 폭의 블록을 compute할 때 첫 블록 dtype에 맞춘 할당으로 뒤 블록의 긴 값이 잘리는 경우를 보고한다. 선언 dtype이 충분한 경우도 포함하며 긴 블록을 먼저 놓은 대조에서는 정상 결과를 제시한다. 이 보고의 근거는 블록별 dtype과 최종 값의 차이다. [1]

입력에서 확인할 관계

짧은 문자열 블록을 먼저 둔 경우와 반대 순서를 비교하고, 최종 결과의 행별 원문 길이·값을 대사한다. 행 ID를 보존해야 재배열로 위치가 달라져도 같은 문자열을 비교할 수 있다. 길이만 같은 다른 텍스트도 있으므로 길이 통과를 값 보존으로 대신하지 않는다. [1, 3]

승인 기준을 정하는 작은 사례

설명용 블록에 00ab와 abcdefgh가 있다고 하자. 긴 원문의 기대 결과는 abcdefgh 그대로다. 결과도 같으면 이 행의 보존 조건은 통과한다. abcd로 줄었다면 뒤 블록의 문자열 폭을 수용하지 못한 경로를 조사한다. 의도적인 고정 폭 절삭이 업무 계약이라면 그 정책을 먼저 분리해 같은 반례를 적용하지 않는다. [1, 3]

Truthound 검사에 넘길 경계

Truthound Core 3.3.2의 ColumnPairValidator는 행 ID로 맞춘 source_text와 computed_text를 비교할 수 있다. 결측 입력은 별도로 확인한다. 모든 블록을 충분한 공통 dtype으로 변환하는 대안을 검토하더라도 실제 compute 결과를 다시 대사해야 한다. 검증기가 Dask의 메모리 할당을 수정하지는 않는다. [1, 2, 3]

적용 조건

블록 순서·dtype과 원본 전체 문자열을 보존하고 같은 위치의 최종 문자열과 비교한다.

대안

모든 블록을 공통 충분한 dtype으로 명시 변환하고 최종 값을 다시 확인한다.

한계

  • 문자열 길이만 같아도 값은 다를 수 있으므로 길이 비교만으로 완전한 보존을 선언하지 않는다.

근거

사건 확인일
대상 확인일
수정일