Styxis
Company
Knowledge

Arrow dictionary coalesce 실패: 값 타입만 비교하면 안 되는 이유

index 폭과 ordered flag까지 확인한 뒤 정규화 경로의 스키마를 검사한다.

bind 성공과 실행 호환성은 다르다

dictionary의 값 타입만 같다고 실행 타입 계약이 같은 것은 아니다. coalesce를 연결할 수 있다는 사실과 그 입력들이 실행 커널의 동일 타입 요구를 충족한다는 사실은 다르다. 실행 전에 어떤 표현을 유지하거나 풀어 쓸지 선택해야 재시도만 반복하는 일을 줄일 수 있다. [1, 2, 3]

같은 int32 값, 다른 index 폭

Arrow 공개 보고는 int32 값을 담은 두 dictionary의 index 타입이 int8과 int16일 때 bind는 성공하지만 실행에서 타입 오류가 나는 예를 제시한다. 기대 경로는 호환 가능한 입력을 decode·승격하고, 완전히 같은 dictionary 타입은 인코딩 실행을 유지하는 것이다. 값 타입 하나만 남긴 inventory에서는 이 차이가 사라진다. [1]

정규화 결정을 기록한다

index 타입·값 타입·ordered flag를 모두 기록하고 필요한 경우 승인한 decode·승격 경로로 정규화한 뒤 결과 값을 검증한다. 변환 전 dictionary 서명과 변환 후 평탄 타입을 나란히 남긴다. decode는 메모리 사용량과 실행 특성을 바꿀 수 있으므로 모든 입력에 무조건 적용하기보다 서비스의 성능 조건도 함께 확인한다. [1, 3]

평탄 타입 계약과 내용 대조

설명용 경로는 coalesce 전에 Int32로 정규화한다고 정한다. 정규화 결과의 타입이 Int32이면 스키마 조건을 만족하고 DictionaryMixed 상태가 남으면 보류한다. Truthound Core의 TableSchemaValidator로 실제 평탄 표의 승인 스키마를 검사할 수 있다. 이 검사는 각 행의 값 선택이 옳다는 증거는 아니다. 원문의 [10, 20, 30, null, null] 같은 값 대조와 NULL 보존은 별도 인수 항목으로 남긴다. [1, 2, 3]

커널 dispatch까지 고치는 것은 아니다

검사 실패가 나오면 잘못 정규화된 입력을 수정하거나 지원되는 decode 경로로 전환한다. Truthound가 Arrow의 bind 과정에 cast를 삽입하는 것은 아니다. 원본 dictionary의 index 타입과 ordered flag는 버리지 않아야 성능이나 순서 가정을 다시 검토할 수 있다. [1, 3]

적용 조건

input_column, index_type, value_type, ordered_flag와 coalesced 결과 표를 원본 또는 독립 대조 경로에서 준비하고 관측 대상과 동일한 실행·파일·키 범위로 연결한다.

대안

호환되는 사전 타입으로 정규화하거나 decode 후 공통 값 타입을 사용한다.

한계

  • Truthound가 Arrow kernel dispatch에 cast를 삽입하지 않는다. dictionary encoding 유지 여부는 성능·호환성 결정이다.

근거

사건 확인일
대상 확인일
수정일