Styxis
Company
Knowledge

Hudi expression index의 정체성에는 함수도 포함된다

expression index는 원본 열뿐 아니라 함수까지 query와 맞아야 한다. 다른 함수를 쓰는 filter는 같은 snapshot의 인덱스 미사용 결과와 대사해 잘못된 pruning을 찾는다.

같은 city가 같은 파생값은 아니다

expression index는 원본 열뿐 아니라 함수와 결과 타입으로 식별한다. 함수별 독립 기준과 comparable 결과를 운영자가 준비하면 Truthound Core로 조건 일치 키를 검사할 수 있다. [1, 2, 3]

lower 통계를 다른 함수에 쓴 보고

Hudi #20255는 lower(city) 인덱스를 upper(city)나 length(city) 필터에 적용해 누락 또는 ClassCastException이 난다고 보고한다. 후속 댓글은 수정 PR을 연결하지만 실제 배포 버전의 포함 여부는 별도 확인이다. [1]

함수 이름을 결과 옆에 기록한다

인덱스 정의 함수와 query filter 함수를 연결한다. 다른 함수에는 같은 snapshot의 인덱스 미사용 대조를 둔다. 실행 오류를 정상 빈 집합으로 바꾸지 않는다. [1, 3]

City_4242의 upper 기준

설명용 city-row의 값 City_4242에 upper를 적용하면 CITY_4242다. 따라서 해당 조건에 city-row가 있으면 통과한다. lower 통계를 적용해 empty가 되면 실패다. 모두 소문자인 자료의 우연한 일치는 함수 동등성 증명이 아니다. [1, 3]

기대 키는 외부에서 계산한다

Truthound Core Python SDK 3.3.2의 DistinctValuesEqualSetValidator는 준비한 key 열을 expected_values와 비교한다. 함수 의미와 대조 결과는 운영자가 공급한다. SDK는 Hudi optimizer의 함수 매칭을 바꾸지 않는다. [1, 2, 3]

다른 함수의 경로를 별도로 승인한다

맞지 않는 expression index를 적용하지 않는 경로를 확인하고 함수마다 대조군을 둔다. 수정을 채택한다면 issue 종료 상태보다 실제 query 형태와 설치 버전으로 확인한다. [1, 3]

열 이름만 적은 inventory의 빈틈

수용표에는 함수 이름과 결과 타입을 원본 필드 옆에 둔다. 열만 기록한 inventory는 pruning을 위험하게 만든 차이를 감춘다. [1, 3]

적용 조건

index 함수·결과 타입과 query 함수의 같은 snapshot key를 준비한다.

대안

맞지 않는 expression index를 쓰지 않는 경로를 함수별로 검증한다.

한계

  • 같은 원본 열이나 우연한 결과 일치는 함수 동등성을 증명하지 않는다.

근거

사건 확인일
대상 확인일
수정일