Dask map_overlap의 chunks=None: 다음 팀이 아는 크기를 받는지 확인하기
옵션 생략과 명시 None의 차이를 실제 chunk 지식 상태로 확인해야 다음 단계가 알려진 크기를 전제하는지 판단할 수 있다.
옵션보다 실제 크기 지식
옵션 생략과 명시 None의 차이를 실제 chunk 지식 상태로 확인해야 다음 단계가 알려진 크기를 전제하는지 판단할 수 있다. Truthound 인계표에는 옵션 문자열뿐 아니라 실제 chunks의 알려짐을 담는다. 같은 기본값처럼 보이는 호출 두 개가 다른 비용의 크기 계산을 요구할 수 있다. [1, 2, 3]
kwargs의 두 분기
Dask #12640은 map_overlap의 kwargs에서 chunks를 생략한 경우와 명시 None을 준 경우가 다른 분기를 타며, 후자에서 올바른 알려진 chunk 크기를 얻지 못하는 사례를 보고한다. 크기가 알려지지 않은 상태와 알려졌지만 틀린 크기는 별도의 검사 대상으로 둔다. [1]
다음 소비자의 전제 기록
계산 담당자는 호출 옵션과 실제 chunks의 알려짐 상태·각 크기를 기록한다. 알려진 크기가 필요한 소비자에는 미확정 출력을 넘기지 말고 검증된 생략·명시 크기 경로를 비교한다. 실제 metadata를 수집하고 알려진 길이를 요구하는 소비자를 명시한다. compute_chunk_sizes의 계산 비용도 운영 선택으로 기록한다. [1, 3]
known은 accurate와 다르다
설명용 소비자는 청크 길이 [4,4]처럼 모든 길이가 알려져야 한다. 기대 플래그는 true다. [4,unknown]은 false로 같은 소비 계약을 통과하지 못한다. true는 알려짐 조건만 충족하고 false는 실패다. [4,4]를 얻었다고 실제 각 block이 4행인지까지 증명되지는 않는다. [1, 3]
상태표를 대조하는 SDK
Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 required_known_state와 all_chunk_lengths_known을 relationship="=="로 비교한다. 운영자가 실제 chunk 상태를 비결측 플래그로 준비한다. SDK는 map_overlap이나 compute_chunk_sizes를 실행하지 않으며 알려짐을 크기 정확성으로 바꾸지 않는다. [1, 2, 3]
크기 계산의 비용 선택
검증한 생략 경로·명시 chunk 크기·비용을 확인한 크기 계산 중 소비자 요구에 맞춰 선택한다. 동일 실제 조건의 상태 대사가 이미 있으면 그 근거를 재사용한다. 미확정 길이를 임의의 작은 숫자로 채워 인계 완료처럼 보이게 하지는 않는다. [1, 3]
적용 조건
실제 chunk 메타데이터를 외부에서 수집하고 알려진 크기가 필요한 소비 단계와 계산 비용을 명시한다.
대안
검증한 chunks 생략 경로·명시 chunk 크기 또는 비용을 측정한 compute_chunk_sizes를 사용한다.
한계
알려짐 통과만으로 실제 chunk 크기가 옳다고 볼 수 없다. Core는 준비한 상태를 비교하며 compute_chunk_sizes나 map_overlap을 실행하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
