Styxis
Company
Knowledge

Dask partition 내부 groupby를 최종 결과로 쓰기 전 키 소유권 확인하기

같은 키가 여러 partition에 흩어지면 부분 집계 두 개를 완성된 결과로 전달할 수 있다.

Dask partition 내부 groupby를 최종 결과로 쓰기 전 키 소유권 확인하기

partition 내부 groupby를 전역 결과로 쓸 때에는 키의 단일 partition 소유가 먼저 성립해야 한다. 각 조각 안에서 계산이 옳아도 같은 업무 키가 다른 조각에 남아 있으면 그 결과는 전체 집계가 아니다. 후속 결합 단계가 없는 경로에서 특히 중요한 인수 조건이다. [1, 2, 3]

보고의 범위와 전제

Dask 이슈 12604는 list 열, 사전 repartition, 파생 index와 문자열 변환 설정의 조합에서 같은 키가 여러 partition에 남는 사례를 보고한다. 조건을 제거한 대조와 버전 차이도 제시한다. 따라서 단일 설정만 원인으로 확정하거나 모든 partition 집계가 잘못됐다고 단정하지 않는다. [1]

입력에서 확인할 관계

키별 partition ID 집합을 집계하고 여러 partition에 걸친 키가 있으면 부분 결과를 최종 레코드로 전달하지 않는다. 검사는 partition 이름의 개수가 아니라 각 키가 실제 등장한 위치를 대상으로 한다. 전역 groupby 또는 검증된 shuffle 경로를 대조한 뒤 소유권을 다시 확인한다. [1, 3]

승인 기준을 정하는 작은 사례

설명용 키 K의 행이 한 partition에만 있으면 소유 partition 수 1로 조건을 충족한다. 두 partition에 있으면 각각의 groupby는 K 전체를 계산하지 못하므로 독점 조건에서 실패한다. 다만 부분 결과를 정확히 합치는 후속 단계가 설계돼 있다면 독점 요구 자체가 달라진다. [1, 3]

Truthound 검사에 넘길 경계

Truthound Core 3.3.2의 QueryGroupAggregateValidator에 준비한 키·partition 표를 집계하는 SQL과 그룹·집계 열을 지정할 수 있다. 키별 서로 다른 partition 수가 기대 범위인지 확인하되 입력 계보를 실제 실행에서 얻어야 한다. 이 검사가 집계 함수의 수치 정확성이나 shuffle 구현을 보증하지는 않는다. [1, 2, 3]

적용 조건

실제 partition에서 수집한 키·partition ID를 준비하고 집계 쿼리에서 키별 서로 다른 partition 수를 계산한다.

대안

전역 groupby 또는 검증된 shuffle 경로를 사용하고 실제 partition 소유를 재검사한다.

한계

  • 키별 독점 검사만으로 집계 함수의 수치 정확성을 증명하지 않는다.

근거

사건 확인일
대상 확인일
수정일