Trino bigint 읽기에서도 Parquet unsigned 부호를 확인한다
Parquet unsigned 정수가 bigint로 읽힌다는 사실만으로 값 보존을 승인하지 않는다. annotation을 독립 해독한 값과 key별로 대사해 signed 경계에서의 부호 변화를 찾는다.
넓은 목적 타입만 믿지 않는다
bigint가 값을 담을 수 있어도 unsigned annotation의 해독이 맞는지는 별도다. 독립 해독한 uint32와 출력 정수를 key별로 준비하면 Truthound Core로 보존을 대조할 수 있다. [1, 2, 3]
signed 경계 위에서 음수가 된 보고
Trino #31908은 485-SNAPSHOT의 Hive bigint가 unsigned INT32의 2147483647 초과 값을 음수로 읽는다고 보고한다. 통계 무시는 별도 필터 문제를 피해도 값 변환 자체를 고치지는 않는다. 기준은 원본 표현에서 가져와야 한다. [1]
원시 annotation과 키를 함께 보존한다
INT(32,false), row key, 독립 uint32와 Trino 결과를 기록하고 signed 경계 양쪽을 넣는다. 값이 바뀌면 해당 추출을 보류한다. 임의 절댓값은 원래 정수의 일반적인 역변환이 아니다. [1, 3]
0x80000000의 unsigned 의미
설명용 원시 비트 0x80000000은 unsigned 정의에서 2147483648이며 bigint가 표현할 수 있다. 2147483648이면 통과하고 -2147483648이면 같은 비트를 signed로 읽어 실패한다. 목적 dtype 이름에서 정답을 추정하지 않는다. [1, 3]
독립 해독과 행 정렬이 먼저다
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 준비한 비결측 정수를 ==로 대조한다. Parquet 독립 해독과 key 정렬은 운영자 책임이다. SDK는 Trino reader 설정이나 annotation 처리를 수리하지 않는다. [1, 2, 3]
대체 reader도 전체 경계를 시험한다
같은 파일의 검증된 다른 reader와 uint32 경계 범위를 확인한다. 개수 일치는 값 보존을 입증하지 않으므로 대체 추출 경로에도 정수 대사를 남긴다. [1, 3]
내부 join 성공과 외부 ID를 나눈다
양쪽 ID가 같이 잘못 해독되면 내부 join은 성공할 수 있다. 외부 식별자 계약이 깨질 수 있으므로 관측값 옆에 부호와 폭을 보존한다. [1, 3]
적용 조건
Parquet unsigned annotation을 독립 해독하고 key로 정렬한다.
대안
같은 파일의 대체 reader를 uint32 경계 전반에서 확인한다.
한계
bigint 폭이나 내부 join 성공은 unsigned 값 보존을 증명하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
