Dask task fusion 뒤 다른 작업이 같은 key를 얻는다면 무엇을 검사할까
결과 파일의 존재보다 논리 작업과 실행 작업의 대응을 먼저 보존한다.
Dask task fusion 뒤 다른 작업이 같은 key를 얻는다면 무엇을 검사할까
최적화 뒤에도 논리 작업과 실제 실행 결과의 일대일 계보가 유지되는지 확인해야 한다. 서로 다른 입력의 계산이 같은 fused key를 얻으면 뒤 작업이 앞 작업을 대신할 수 있다. 결과가 우연히 같거나 파일이 만들어졌다는 사실만으로 작업이 모두 수행됐다고 말할 수 없다. [1, 2, 3]
보고의 범위와 전제
Dask 이슈 12681은 긴 fused task 이름을 짧은 hash와 함께 줄이는 과정에서 충돌 검사가 없으면 작업이 덮어써지는 경우를 보고한다. xarray와 icechunk 쓰기에서의 관측 및 fusion 비활성 대안을 제시한다. 이름을 조금 더 길게 만드는 것만으로 충돌 불가능성을 증명하는 근거는 아니다. [1]
입력에서 확인할 관계
독립 입력을 가진 긴 task chain을 비교하고 원래 논리 작업별 출력이 같은 fused key로 합쳐지면 해당 최적화 산출물을 격리한다. 동일 작업의 의도적인 공통 계산과 독립 chain의 충돌을 구분하려면 입력 식별자도 필요하다. 실행 전 매핑과 실제 결과를 함께 기록한다. [1, 3]
승인 기준을 정하는 작은 사례
설명용 chain A와 B는 서로 다른 입력을 사용한다고 정한다. 각 chain에 다른 실행 key가 있으면 충돌 수는 0이며 독립 소유 조건을 충족한다. 같은 fused key가 둘을 대표하면 충돌 1건으로 분류한다. 출력 값이 같아도 두 작업이 의도적으로 같은 계산이라는 별도 근거가 없으면 합병을 승인하지 않는다. [1, 3]
Truthound 검사에 넘길 경계
Truthound Core 3.3.2의 MultiColumnUniqueValidator로 실제로 고유해야 하는 실행 key 소유권 열 조합을 검사할 수 있다. logical_task_id까지 넣어 모든 행을 고유하게 만들면 같은 fused key의 중복을 숨기므로 조합을 잘못 선택하지 않는다. 그래프 수정은 Dask 계층의 책임이며, 검증된 fusion 비활성 경로나 충돌 감지를 갖춘 구현으로 다시 확인한다. [1, 2, 3]
적용 조건
최적화 전 논리 작업과 fused key를 함께 보관하되 유일성 검사는 실제 key 소유권 열에 적용한다.
대안
검증된 fusion 비활성 경로를 비교하거나 충돌 검사·원래 key 보존을 갖춘 최적화 구현을 사용한다.
한계
해시 문자열을 길게 만드는 것만으로 충돌 불가능성을 증명할 수 없으며 실행 그래프 수정은 Dask 계층의 책임이다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
