Styxis
Company
Knowledge

Dask left merge 행 손실 진단: 128 경계의 shuffle bucket 확인

partition 규모를 늘리는 시험에는 bucket 번호의 표현 경계와 왼쪽 행 보존을 함께 넣어야 한다.

Dask left merge 행 손실 진단: 128 경계의 shuffle bucket 확인

작은 입력에서 성공한 left merge가 partition을 늘린 뒤 행을 놓친다면 입력 건수만 늘려서는 원인을 좁히기 어렵다. 라우팅 번호가 바뀌는 경계에 있는 행을 직접 추적해야 한다. 왼쪽 행이 어느 bucket으로 배정됐고 어디에 도착했는지를 연결하면 수치 표현 문제와 다른 전송 문제를 구분할 출발점이 생긴다. [1, 2, 3]

보고의 범위와 전제

Dask 공개 보고는 Windows 환경의 큰 partition 수에서 left merge의 행 손실을 설명하며, 128을 넘는 설정에서 bucket 정수 폭과 전달 경로를 원인 후보로 제시한다. 원문의 제안은 확정된 수정이나 전체 환경의 독립 재현과 구분해야 한다. 같은 증상이라도 다른 실행 환경에 동일 원인이 있다고 단정할 근거는 아니다. [1]

입력에서 확인할 관계

경계 bucket으로 배정되는 왼쪽 행을 고정하고 작은 설정과 경계를 넘는 설정을 비교한다. 각 행의 원시 bucket 번호, partition 수, 실제 수신 위치와 최종 출력 존재 여부를 함께 기록한다. 표현 범위를 확인한 뒤에도 행이 사라지면 수신과 조인 경로의 다른 차이를 계속 조사한다. [1, 3]

승인 기준을 정하는 작은 사례

설명용 설정의 partition 수가 129라면 유효 bucket 범위는 0부터 128까지다. bucket 128이 좁은 signed 표현에서 -128로 바뀐다면 유효 범위를 벗어난다. 이 작은 경계 사례는 원문의 전체 재현을 대신하지 않으며 유효한 번호만으로 올바른 수신 worker가 입증되는 것도 아니다. [1, 3]

Truthound 검사에 넘길 경계

Truthound Core의 BetweenValidator에는 준비된 bucket 열과 운영자가 정한 0부터 128까지의 범위를 연결할 수 있다. 이 구성요소는 범위 밖 번호를 드러내지만 shuffle을 수정하거나 행 보존을 보증하지 않는다. 실제 운영에서는 partition 설정에 따라 범위를 계산하고, 왼쪽 원본 행과 최종 출력의 대사를 별도로 수행해야 한다. [1, 2, 3]

적용 조건

실제 partition 설정에서 허용 bucket 범위를 계산하고 원시 bucket·수신 위치·왼쪽 행 보존을 함께 기록한다.

대안

원시 bucket과 실제 수신 worker를 대사하고 검증된 정수 폭·shuffle 경로를 사용한다.

한계

  • 하한 검사만으로 routing의 정확성을 보장하지 않으며 source의 원인 제안은 확정 패치 근거와 다르다.

근거

사건 확인일
대상 확인일
수정일