Doris Arrow Stream Load 전에 실제 배열 타입과 목적 schema를 맞추자
유효한 Arrow IPC가 목적 열의 serde에도 안전한 입력이라는 뜻은 아니다.
전송 형식과 목적 타입은 다르다
형식이 유효한 Arrow 배열도 대상 열의 타입 계약에는 맞지 않을 수 있다. Truthound의 사전 검사는 준비한 데이터가 목적 schema와 맞는지 확인하는 한 단계다. 서버가 잘못된 타입을 안전하게 거절해야 한다는 책임까지 대신하지 않는다. [1, 2, 3]
거절 대신 서버 오류가 난 보고
Doris 공개 재현은 Boolean 대상에 Int32 배열을, Decimal 대상에 Utf8 배열을 보내는 Arrow Stream Load가 정상 거절 대신 BE의 SIGSEGV로 이어지는 경우를 제시한다. 이 글은 원문의 특정 환경과 코드 분석 범위에서 설명하며 모든 Arrow 로드가 같은 결과를 낸다고 주장하지 않는다. [1]
실제 전송 batch를 승인하기
전송 전 실제 Arrow 타입을 목적 스키마와 대응시키고 nullable·decimal scale·Boolean 표현을 명시적으로 검사한 뒤 로드를 허용한다. schema 문서만 확인한 뒤 다른 타입의 batch를 보내지 않도록 직렬화 직전 자료를 검사한다. 변환이 필요하면 원본 타입도 감사 기록으로 남긴다. [1, 3]
Boolean 계약의 합성 반례
설명용 Boolean 목적 열에 승인된 전송 타입을 Boolean으로 정하면 Boolean 배열은 이 타입 조건을 통과한다. Int32 배열은 값이 겉보기에 참과 거짓처럼 보여도 실패한다. 이 기준은 모든 정수→Boolean 변환을 금지하는 것이 아니라 변환 완료와 원시 전송을 구분하는 계약이다. [1, 3]
Truthound의 범위를 넘는 부분
Truthound Core의 ColumnTypeValidator는 준비된 표의 열이 승인한 타입인지 검사할 수 있다. Arrow의 원래 물리 타입은 변환 전 별도 기록과 대조해야 한다. 서버 패치, 격리된 로드 대조, 실패한 배치의 재전송 통제도 필요하다. 검사 통과를 네이티브 서버의 메모리 안전성 증명으로 표현해서는 안 된다. [1, 2, 3]
적용 조건
실제 전송 batch와 source_arrow_type·destination_type 매핑을 직렬화 직전에 연결하고 변환 전 타입도 보존한다.
대안
목적 타입별 검증된 Arrow array를 만들어 전송하거나 서버가 지원하는 다른 입력 형식을 쓴다.
한계
이 사전 검사는 서버의 잘못된 캐스트 처리를 수리하지 않는다. 서버 패치와 실패 시 로드 격리도 필요하다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
