Iceberg binary truncate는 문자 수가 아니다: ClickHouse prefix 검증
UTF-8처럼 보이는 바이트도 binary 파티션에서는 바이트 길이로 잘라야 한다.
문자열과 binary의 경계
binary 파티션 계약에 문자 길이 규칙을 적용해서는 안 된다. 사람이 읽을 수 있는 문자처럼 표시되더라도 원래 타입이 binary라면 prefix의 단위는 바이트다. Truthound에 넘길 대조 표도 화면의 문자열 대신 손실 없는 hex 표현을 사용하는 편이 명확하다. [1, 2, 3]
코드포인트로 잘린 파티션
ClickHouse 공개 보고는 Iceberg binary와 string이 같은 내부 문자열 경로를 사용하면서 truncate가 UTF-8 코드포인트 단위로 적용되는 경우를 설명한다. 외부 writer가 만든 올바른 binary 파티션에서 필터 행이 누락되고, 쓰기 경로도 잘못된 파티션 값을 만들 수 있다고 구분한다. [1]
한 바이트 prefix의 합성 예
설명용 원시 바이트를 c3bc로 두고 앞의 한 바이트를 보존하기로 했다면 기대 hex는 c3다. 결과 c3는 통과하지만 문자 하나를 보존한 c3bc는 실패한다. 비교 전에 문자열로 디코딩했다가 다시 인코딩하면 바로 확인하려는 단위 차이를 감출 수 있다. [1, 3]
검증 자료를 만드는 순서
원시 바이트·파티션 길이·기대 prefix를 hex로 보존하고, 멀티바이트 UTF-8처럼 보이는 binary 값도 바이트 단위로 대조한다. 파티션 값을 직접 비교한 뒤 pruning 없는 전체 읽기와 필터 결과를 확인한다. writer와 reader 어느 쪽에서 달라졌는지 구분할 수 있도록 각 경계의 값을 남긴다. [1, 3]
Truthound의 비교 범위
Truthound Core의 ColumnPairValidator로 독립 바이트 계산의 hex와 저장·조회 경로의 hex를 비교할 수 있다. hex는 검사 표현일 뿐 새 업무 인코딩 규칙이 아니다. NULL 값은 별도 상태로 다룬다. Truthound가 Iceberg 파티션 생성이나 가지치기를 수정하는 것은 아니므로, 불일치가 난 경로는 수정 또는 검증된 우회 후 다시 읽어야 한다. [1, 2, 3]
적용 조건
같은 source_hex와 truncate_length_bytes에서 기대 prefix를 바이트 연산으로 독립 계산하고 observed_prefix_hex와 연결한다.
대안
바이트 전용 prefix 계산을 사용하고 pruning 없는 경로와 비교한다.
한계
hex 표는 비교를 위한 표현이다. Truthound가 Iceberg binary 파티션 writer나 pruning 로직을 고치지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
