Styxis
Company
Knowledge

Trino bigint 읽기에서도 Parquet unsigned 부호를 확인한다

Parquet unsigned 정수가 bigint로 읽힌다는 사실만으로 값 보존을 승인하지 않는다. annotation을 독립 해독한 값과 key별로 대사해 signed 경계에서의 부호 변화를 찾는다.

넓은 목적 타입만 믿지 않는다

bigint가 값을 담을 수 있어도 unsigned annotation의 해독이 맞는지는 별도다. 독립 해독한 uint32와 출력 정수를 key별로 준비하면 Truthound Core로 보존을 대조할 수 있다. [1, 2, 3]

signed 경계 위에서 음수가 된 보고

Trino #31908은 485-SNAPSHOT의 Hive bigint가 unsigned INT32의 2147483647 초과 값을 음수로 읽는다고 보고한다. 통계 무시는 별도 필터 문제를 피해도 값 변환 자체를 고치지는 않는다. 기준은 원본 표현에서 가져와야 한다. [1]

원시 annotation과 키를 함께 보존한다

INT(32,false), row key, 독립 uint32와 Trino 결과를 기록하고 signed 경계 양쪽을 넣는다. 값이 바뀌면 해당 추출을 보류한다. 임의 절댓값은 원래 정수의 일반적인 역변환이 아니다. [1, 3]

0x80000000의 unsigned 의미

설명용 원시 비트 0x80000000은 unsigned 정의에서 2147483648이며 bigint가 표현할 수 있다. 2147483648이면 통과하고 -2147483648이면 같은 비트를 signed로 읽어 실패한다. 목적 dtype 이름에서 정답을 추정하지 않는다. [1, 3]

독립 해독과 행 정렬이 먼저다

Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 준비한 비결측 정수를 ==로 대조한다. Parquet 독립 해독과 key 정렬은 운영자 책임이다. SDK는 Trino reader 설정이나 annotation 처리를 수리하지 않는다. [1, 2, 3]

대체 reader도 전체 경계를 시험한다

같은 파일의 검증된 다른 reader와 uint32 경계 범위를 확인한다. 개수 일치는 값 보존을 입증하지 않으므로 대체 추출 경로에도 정수 대사를 남긴다. [1, 3]

내부 join 성공과 외부 ID를 나눈다

양쪽 ID가 같이 잘못 해독되면 내부 join은 성공할 수 있다. 외부 식별자 계약이 깨질 수 있으므로 관측값 옆에 부호와 폭을 보존한다. [1, 3]

적용 조건

Parquet unsigned annotation을 독립 해독하고 key로 정렬한다.

대안

같은 파일의 대체 reader를 uint32 경계 전반에서 확인한다.

한계

  • bigint 폭이나 내부 join 성공은 unsigned 값 보존을 증명하지 않는다.

근거

사건 확인일
대상 확인일
수정일