Doris packed 읽기는 길이 감산 전에 slice 경계를 검사한다
packed 객체 안의 slice를 읽을 때는 전체 객체 크기보다 논리 slice 경계를 먼저 확인한다. 직접 reader와 cache 보호 경로를 나누어 offset의 범위 초과를 조사한다.
물리 파일과 논리 slice를 구분한다
offset이 논리 slice 안인지 먼저 확인해야 이웃 bytes를 성공처럼 반환하지 않는다. 운영자가 slice 경계를 독립 기록하면 Truthound Core로 요청표를 대조할 수 있다. [1, 2, 3]
unsigned 감산과 cache 보호의 범위
Doris #69863은 4.1.4 cloud packed slice에서 offset 초과가 unsigned 감산을 감아 큰 길이를 만든다고 보고한다. 후속 소스 검토는 cache wrapper가 시작 offset을 먼저 거절할 수 있다고 한정한다. 운영 query의 잘못된 결과를 입증한 것은 아니다. [1]
실제 reader chain을 함께 남긴다
slice ID·크기·logical offset·요청 길이와 reader chain을 기록한다. 읽기 전 offset<=slice_size를 적용하고 음수 크기와 physical 범위는 추가 검사한다. 큰 packed 객체의 유효 범위로 slice 범위를 대신하지 않는다. [1, 3]
EOF와 범위 밖의 한 byte
설명용 slice는 100 bytes다. offset=100은 EOF 경계를 통과하지만 0 bytes를 반환해야 한다. 101은 이웃 slice를 읽기 전에 거절할 실패다. 이 예제는 시작 경계이며 요청 길이의 모든 조건을 검사하지 않는다. [1, 3]
비교 검사가 reader를 감싸지는 않는다
Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 비결측 offset과 size를 <=로 비교할 수 있다. SDK는 PackedFileReader를 감싸거나 메모리 접근을 차단하지 않는다. 운영자는 정확한 size와 cache·direct 경로 구분을 제공한다. [1, 2, 3]
이웃 bytes를 구별하는 격리 시험
구별 가능한 이웃 bytes, EOF와 음수 크기로 명시 오류 경로를 검증한다. upstream의 invalid offset을 별도 근거 없이 corrupt metadata 탓으로 확정하지 않는다. [1, 3]
성공한 object read의 한계
하위 object 읽기 성공은 물리 범위가 있다는 뜻이다. 누구의 bytes를 반환할 수 있는지는 논리 파일 계약이 정하므로 두 경계를 진단표에 함께 남긴다. [1, 3]
적용 조건
slice size·logical offset·request length와 실제 reader chain을 준비한다.
대안
EOF·음수 크기·구별 가능한 이웃 bytes로 격리 시험한다.
한계
cache wrapper의 선행 보호가 있어 모든 packed query 노출로 일반화하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
