Parquet projection 뒤 Dask 배열 전환: partition과 길이 벡터의 단위 맞추기
projection 후 실행 그래프가 partition을 합칠 수 있으므로 선언 partition 수와 실제 길이 벡터의 소유 단위를 맞춰야 한다.
열 선택 뒤 바뀌는 실행 단위
projection 후 실행 그래프가 partition을 합칠 수 있으므로 선언 partition 수와 실제 길이 벡터의 소유 단위를 맞춰야 한다. Truthound가 비교할 개수도 같은 최적화 경계의 실행 단위여야 한다. 열을 줄였다는 설명만으로 원래 partition 두 개가 그대로 남는다고 팀 간 약속하지 않는다. [1, 2, 3]
후속 댓글의 원인 제안
Dask #12411은 Parquet 열 subset의 to_dask_array(lengths=True)가 partition 수 불일치로 실패하는 사례를 보고한다. 후속 댓글은 projection 최적화 중 Parquet optimizer가 partition을 결합한 것을 원인으로 제안한다. 이 분석을 모든 데이터 크기·최적화 설정의 확정 동작이나 수정 배포의 근거로 확대하지 않는다. [1]
같은 최적화 경계로 모으기
자료 담당자는 선택 열·최적화 전후 partition ID와 실제 길이 벡터를 기록한다. 단위 수가 다르면 배열 인계를 보류하고 명시 repartition 대조를 시험한다. 실제 graph의 partition ID와 metadata를 같은 경계에서 추출한다. 행 수 합계는 별도 계산하고 graph의 단위 수와 혼동하지 않는다. [1, 3]
P0 하나의 길이 소유권
설명용 실행 그래프는 원래 두 partition을 하나의 물리 partition P0로 합쳤다고 고정한다. 독립 기대 실행 단위 수는 1이며 메타데이터가 2로 남으면 불일치다. 실행 단위 1과 metadata 1은 개수 조건을 충족한다. metadata 2는 실패지만 1로 바꾸기만 해 행 정체성까지 맞았다고 보지 않는다. [1, 3]
개수 뒤의 실제 길이
Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 executed_partition_count와 declared_partition_count를 relationship="=="로 비교한다. 운영자가 같은 graph에서 계측한 값을 준비하며 SDK는 Parquet optimizer나 Dask graph를 수정하지 않는다. 개수 일치 뒤에도 실제 길이·원문 ID 대사가 필요하다. [1, 2, 3]
인계 전 원문 행을 다시 보기
명시 repartition이나 검증한 배열 전환 경로를 비교한 뒤 길이와 원문 행을 다시 확인한다. 이미 같은 graph·소비 경로가 검증됐다면 그 근거를 유지한다. 단순 metadata 숫자 패치는 실행 소유권을 새로 증명한 조치가 아니다. [1, 3]
적용 조건
실제 실행 그래프의 partition 단위를 외부에서 추출하고 metadata와 동일 최적화 경계로 맞춘다. row 수는 별도 합산한다.
대안
검증한 명시 repartition 또는 배열 전환 경로를 비교하고 실제 길이와 원문 행 ID를 다시 확인한다.
한계
partition 수 일치는 행 정체성·내용 보존을 입증하지 않는다. Core는 계측 숫자를 비교하며 Parquet optimizer나 Dask graph를 수정하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
