DataFusion sort 뒤 계산 열을 추가했다면 최종 export 순서를 다시 확인하자
정렬 단계가 계획에 있다는 사실과 최종 파일의 행 순서가 정렬됐다는 사실은 다르다.
마지막 변환 뒤의 순서
순서가 계약인 export는 마지막 변환 뒤 실제 행 순서에서 검증해야 한다. 정렬 후 계산 열 하나를 붙이는 작업도 병렬 batch 경계를 바꿀 수 있다. Truthound의 순서 검사는 결과를 다시 정렬하기 전에 적용해야 원래 경로의 문제를 발견할 수 있다. [1, 2, 3]
projection 이후의 batch 재분배
DataFusion 공개 보고는 sort 뒤 계산 열을 만드는 select가 여러 batch를 병렬 partition으로 나누면서 전역 정렬을 유지하지 못하는 경우를 제시한다. 단순 열 선택이나 작은 단일 batch는 정상인 대조군이다. 작은 샘플의 성공을 큰 export의 순서 보존 증거로 이어 붙일 수 없다. [1]
역전 위치를 보존하는 검사
최종 export 직전에 순서를 검사하고 batch 경계를 넘는 데이터로 대조한다. 검사 전에 다시 정렬해 결함을 숨기지 않는다. 행 위치와 정렬 키를 함께 남기고, 동일 키가 가능한 업무라면 tie-break 열을 승인 계약에 넣는다. [1, 3]
합성 출력에서 찾는 역전
내림차순 계약의 설명용 출력은 인접 역전 수가 0이어야 한다. 같은 값 집합이라도 batch 경계에서 역전이 2번 생기면 실패다. 기대값은 정렬 알고리즘의 출력이 아니라 내림차순이라는 요구에서 나온다. 값 집합이 같은지와 순서가 같은지는 별도 조건이다. [1, 3]
Truthound 검사 후 선택할 경로
Truthound Core의 DecreasingValidator로 최종 출력 열의 단조성을 검사할 수 있다. 그룹별 정렬이라면 각 그룹의 경계를 먼저 분리해야 한다. 이 검사는 DataFusion 계획에 merge를 삽입하지 않는다. 마지막 projection 이후 명시적 전역 sort를 두는 대안을 검토하고, 추가 비용과 tie-break까지 같은 export 계약으로 재검증한다. [1, 2, 3]
적용 조건
원래 출력 순서의 export_sequence·정렬 키를 보존하고 같은 export의 batch 경계와 연결한다. 검사 전에 재정렬하지 않는다.
대안
마지막 계산 열 추가 이후 명시적인 전역 sort를 수행한다.
한계
동일 키의 tie-break가 필요하면 별도 정렬 키를 정의해야 한다. Truthound가 DataFusion의 병렬 merge 연산을 삽입하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
