Styxis
Company
Knowledge

Hudi record index 크기 재구축에서 scope를 보존한다

크기 조정을 위한 index rebuild가 partitioned/global scope를 바꾸지 않았는지 확인한다. 공통 metadata 이름 대신 전후 정의와 실제 적용 설정으로 정체성을 대사한다.

크기 변경이 정체성 변경은 아니다

scope 변경을 승인하지 않은 rebuild는 partitioned/global 정체성을 보존해야 한다. 운영자가 전후 정의를 준비하면 Truthound Core로 그 필드를 대조할 수 있다. [1, 2, 3]

공통 partition 이름으로 혼동한 보고

Hudi #20343은 HoodieIndexer가 record_index 이름만 보고 partitioned record-level index를 global 설정으로 재구축한다고 보고한다. 사용자 props도 뒤에서 덮어써 같은 설정을 다시 넘기는 것이 보고된 우회책은 아니다. [1]

권위 정의와 유효 props를 연결한다

재구축 전 table config와 index 정의를 보존하고 실제 적용 props·결과 layout을 대조한다. 공통 metadata partition 이름만으로 같은 키 범위라고 추정하지 않는다. [1, 3]

partitioned를 그대로 요구한 예제

설명용 요청은 크기 조정이며 scope 변경은 승인하지 않았다. 기존 partitioned이면 기대도 partitioned다. 이 값은 통과하고 global은 record_index 이름이 같아도 실패한다. 파일 크기 검사가 아닌 정체성 조건이다. [1, 3]

문자열 일치 뒤에도 lookup을 본다

Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 비결측 scope 열을 ==로 비교한다. 권위 정의 선정과 effective config 수집은 운영자가 맡는다. SDK는 HoodieIndexer의 설정 우선순위를 바꾸지 않는다. [1, 2, 3]

지원 rebuild 경로를 확인한다

검증된 지원 절차나 수정 경로를 검토한 뒤 같은 partition의 key lookup과 file-group 크기도 확인한다. 후속 댓글의 작업·review 논의를 배포 검증 결과로 사용하지 않는다. [1, 3]

이름표와 물리 정확성을 분리한다

scope 일치가 모든 물리 배치와 lookup을 증명하지는 않는다. 정체성 차이를 먼저 거절하고 다음 단계의 실제 동작을 따로 확인할 수 있도록 기록을 나눈다. [1, 3]

적용 조건

재구축 전 authoritative scope와 실제 유효 props·layout을 준비한다.

대안

지원 rebuild 경로 뒤 partition별 lookup과 file-group 크기를 확인한다.

한계

  • scope 문자열 일치는 모든 물리 배치·key lookup을 증명하지 않는다.

근거

사건 확인일
대상 확인일
수정일