Styxis
Company
Knowledge

Dask loc의 171과 13: index mask를 위치 배열로 억지 적용하지 않기

같은 index 식도 최적화 뒤 block 수가 달라질 수 있으므로 mask와 자료의 분할 대응을 실행 경계에서 확인해야 한다.

개수만 맞추는 위험

같은 index 식도 최적화 뒤 block 수가 달라질 수 있으므로 mask와 자료의 분할 대응을 실행 경계에서 확인해야 한다. Truthound 입력은 partition 개수뿐 아니라 경계와 원래 row ID를 남겨야 한다. 개수를 맞추려고 mask를 단순 reshape하면 다른 행을 선택하는 더 조용한 오류가 될 수 있다. [1, 2, 3]

버전 대조의 숫자 범위

Dask #12146은 index 조건 mask의 block 수가 원 DataFrame partition 수와 달라 loc가 실패하는 버전 대조와 후속 생성 예를 보고한다. 보고의 171 대 13은 실행 조건의 대조다. 이 숫자를 모든 Parquet 자료의 필수 partition 수로 고정하거나 새로운 정렬 해결을 검증한 결과로 쓰지 않는다. [1]

같은 snapshot의 경계 수집

자료 담당자는 원표·index·mask의 실제 block ID와 수를 기록한다. 대응되지 않는 mask를 위치 배열로 억지 적용하지 말고 검증된 정렬·분할 경로를 선택한다. block 경계·행 ID를 외부에서 확보하고 원표와 mask가 같은 snapshot인지 확인한다. 위치 인덱싱으로 바꾸는 우회도 선택된 행을 별도 대사한다. [1, 3]

171개라는 조건의 한계

설명용 원표는 171개 partition을 각 mask block과 일대일로 연결하는 계약이다. 기대 mask 수는 원표 partition 목록에서 정한 171이며 13은 이 계약과 다르다. 171은 이 count 조건만 충족하고 13은 실패다. 실제로 다른 경계의 block 171개도 있으므로 일대일 경계와 행 소속은 별도 의무다. [1, 3]

계측표를 비교하기

Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 data_partition_count와 mask_block_count를 relationship="=="로 대조한다. 운영자가 같은 snapshot과 실행 경계에서 계측표를 준비한다. SDK는 loc나 optimizer를 복구하지 않으며 같은 count로 정렬·행 정체성을 보증하지 않는다. [1, 2, 3]

예외 제거 뒤의 행 대사

검증된 Series 조건·명시 partition 대응·작은 실물 대조 중 적절한 경로를 시험하고 선택 행을 다시 확인한다. 동일 실제 조건의 대응이 이미 있다면 근거를 재사용한다. 예외를 없애는 것과 올바른 행을 선택한 것은 다른 완료 항목이다. [1, 3]

적용 조건

block 수뿐 아니라 각 경계·행 ID를 외부에서 확보하고 mask와 원표가 같은 snapshot인지 확인한다.

대안

검증된 Series 조건 경로·명시 partition 대응 또는 작은 실물 대조로 같은 선택 행을 재검증한다.

한계

  • 개수 일치는 block 경계나 행 정체성을 입증하지 않는다. Core는 계측 count를 비교하며 Dask loc·optimizer를 복구하지 않는다.

근거

사건 확인일
대상 확인일
수정일