Styxis
Company
Knowledge

Iceberg·Spark exchange 재사용: 같은 hash가 같은 scan을 뜻하지 않는다

합계가 그럴듯해도 요청한 파티션의 데이터가 실제로 계산에 참여했는지 provenance를 확인해야 한다.

해시 일치와 의미 동일성

캐시나 재사용의 식별자는 짧은 해시 일치만으로 의미 동일성을 대신할 수 없다. Truthound로 최종 합계만 검사하면 서로 다른 파티션의 합이 우연히 같을 때 문제를 놓친다. 요청한 범위와 실제 출력의 출처를 함께 남겨야 한다. [1, 2, 3]

다른 scan이 같은 exchange를 쓴 사례

Iceberg 공개 재현은 SparkBatch equality가 scan hash에 의존해 서로 다른 필터의 해시가 충돌하면 Spark가 한쪽 shuffle을 양쪽에 재사용하는 경우를 설명한다. Aa와 BB 파티션을 사용한 예가 있다. 데이터 파일 자체가 같아졌다는 주장이 아니라 재사용 판단의 정체성 문제다. [1]

출처의 합성 대조

설명용으로 BB를 요청한 결과의 승인 출처는 BB다. 관측 출처 BB는 통과하지만 Aa는 실패한다. 두 파티션의 합계가 같더라도 이 실패는 유지된다. 출처 표시는 잘못된 실행 결과에 임의로 요청값을 붙이지 않고 실제 읽힌 행 또는 독립 추적에서 얻어야 한다. [1, 3]

Truthound에 줄 허용 짝

동일 해시의 다른 필터 대조군을 두고 요청한 파티션과 결과의 실제 파티션 provenance를 연결해 확인한다. Truthound Core의 ColumnPairInSetValidator로 요청·관측 파티션의 허용 짝을 검사할 수 있다. 이 기능이 Spark equality 구현을 대체하지는 않는다. exchange 재사용 없는 대조 실행에서 값과 출처를 함께 확인하고 수정 경로를 재평가한다. [1, 2, 3]

적용 조건

같은 요청의 requested_partition·observed_partition·aggregate_value를 연결하고 관측 출처는 실제 행이나 독립 추적에서 얻는다.

대안

exchange 재사용을 거치지 않는 대조 실행에서 파티션별 결과를 확인한다.

한계

  • Truthound는 Spark exchange equality 구현을 대체하지 않는다. 합계가 우연히 같을 수 있어 값 비교만으로는 부족하다.

근거

사건 확인일
대상 확인일
수정일