Styxis
Company
Knowledge

Dask task fusion 뒤 다른 작업이 같은 key를 얻는다면 무엇을 검사할까

결과 파일의 존재보다 논리 작업과 실행 작업의 대응을 먼저 보존한다.

Dask task fusion 뒤 다른 작업이 같은 key를 얻는다면 무엇을 검사할까

최적화 뒤에도 논리 작업과 실제 실행 결과의 일대일 계보가 유지되는지 확인해야 한다. 서로 다른 입력의 계산이 같은 fused key를 얻으면 뒤 작업이 앞 작업을 대신할 수 있다. 결과가 우연히 같거나 파일이 만들어졌다는 사실만으로 작업이 모두 수행됐다고 말할 수 없다. [1, 2, 3]

보고의 범위와 전제

Dask 이슈 12681은 긴 fused task 이름을 짧은 hash와 함께 줄이는 과정에서 충돌 검사가 없으면 작업이 덮어써지는 경우를 보고한다. xarray와 icechunk 쓰기에서의 관측 및 fusion 비활성 대안을 제시한다. 이름을 조금 더 길게 만드는 것만으로 충돌 불가능성을 증명하는 근거는 아니다. [1]

입력에서 확인할 관계

독립 입력을 가진 긴 task chain을 비교하고 원래 논리 작업별 출력이 같은 fused key로 합쳐지면 해당 최적화 산출물을 격리한다. 동일 작업의 의도적인 공통 계산과 독립 chain의 충돌을 구분하려면 입력 식별자도 필요하다. 실행 전 매핑과 실제 결과를 함께 기록한다. [1, 3]

승인 기준을 정하는 작은 사례

설명용 chain A와 B는 서로 다른 입력을 사용한다고 정한다. 각 chain에 다른 실행 key가 있으면 충돌 수는 0이며 독립 소유 조건을 충족한다. 같은 fused key가 둘을 대표하면 충돌 1건으로 분류한다. 출력 값이 같아도 두 작업이 의도적으로 같은 계산이라는 별도 근거가 없으면 합병을 승인하지 않는다. [1, 3]

Truthound 검사에 넘길 경계

Truthound Core 3.3.2의 MultiColumnUniqueValidator로 실제로 고유해야 하는 실행 key 소유권 열 조합을 검사할 수 있다. logical_task_id까지 넣어 모든 행을 고유하게 만들면 같은 fused key의 중복을 숨기므로 조합을 잘못 선택하지 않는다. 그래프 수정은 Dask 계층의 책임이며, 검증된 fusion 비활성 경로나 충돌 감지를 갖춘 구현으로 다시 확인한다. [1, 2, 3]

적용 조건

최적화 전 논리 작업과 fused key를 함께 보관하되 유일성 검사는 실제 key 소유권 열에 적용한다.

대안

검증된 fusion 비활성 경로를 비교하거나 충돌 검사·원래 key 보존을 갖춘 최적화 구현을 사용한다.

한계

  • 해시 문자열을 길게 만드는 것만으로 충돌 불가능성을 증명할 수 없으며 실행 그래프 수정은 Dask 계층의 책임이다.

근거

사건 확인일
대상 확인일
수정일