Styxis
Company
Knowledge

ClickHouse·Iceberg 열 이름 재사용: field ID로 필터 결과를 대조하기

이름이 같다는 이유로 과거 파일의 다른 열 통계를 현재 열에 적용하면 정상 행이 빠질 수 있다.

표시 이름보다 오래가는 식별자

스키마 이력의 식별자는 표시 이름보다 안정적인 field ID여야 한다. 열을 삭제한 뒤 다른 열에 같은 이름을 붙이면 이름만으로 읽기 계보를 연결하기 어렵다. Truthound를 활용하려면 파일별 ID·과거 이름·현재 이름의 매핑을 먼저 밖에서 추출해야 한다. [1, 2, 3]

전체 조회와 필터 조회의 차이

ClickHouse 공개 보고는 Iceberg에서 삭제한 열 이름을 다른 열이 재사용한 뒤, 전체 조회에는 있던 행이 WHERE 조회에서 빠지는 재현을 제시한다. 과거 파일에 현재 이름의 filter가 전달되면서 다른 물리 열에 붙는 경로가 설명된다. 파일에 행이 존재하는 것과 통계 가지치기가 그 행을 남기는 것은 다른 확인이다. [1]

이력 매핑이 기대값이다

파일별 field ID·과거 이름·현재 이름의 매핑을 보존하고, 이름 재사용 후 필터 결과를 field ID에 맞춰 읽은 전체 결과와 대조한다. 설명용으로 현재 열의 승인 field ID를 1로 정했다면 1로 해석한 매핑은 통과하고 과거 동명 열의 ID 2로 연결되면 실패한다. 숫자의 대소가 아니라 스키마 이력에서 확정한 정체성이 기준이다. [1, 3]

Truthound로 검사할 매핑 표

Truthound Core의 ColumnPairInSetValidator는 승인한 field ID와 현재 이름의 허용 짝을 검사할 수 있다. 이 매핑 검사는 실제 필터 결과의 키 집합 대조와 함께 사용한다. Truthound가 manifest나 Parquet pushdown을 직접 해석하는 것은 아니다. 전체 읽기 후 필터하는 경로를 임시 대안으로 검증할 수 있지만 파일 범위와 비용도 함께 기록해야 한다. [1, 2, 3]

적용 조건

파일별 field_id·physical_name·current_name의 독립 스키마 이력과 해당 파일에서 읽은 결과 키를 연결한다.

대안

필터 pushdown 없이 field ID로 전체 파일을 읽어 일치 키를 대조한다.

한계

  • Truthound가 Iceberg manifest나 Parquet pushdown을 직접 해석한다고 주장하지 않는다. 파일별 매핑은 Iceberg 도구로 먼저 추출해야 한다.

근거

사건 확인일
대상 확인일
수정일