Pinot의 마지막 metadata 오류를 Trino 빈 split으로 승인하지 않는다
Pinot split의 데이터 block이 비어도 final metadata 오류가 있으면 성공 집계에서 제외한다. metadata 미수신도 정상 공백과 구분해 누락 segment를 숨기는 낮은 집계를 막는다.
빈 결과에도 완료 근거가 필요하다
split이 비어 있어도 final metadata의 오류를 확인하기 전에는 정상 공백으로 승인할 수 없다. 운영자가 수집한 metadata와 승인 flag에 Truthound Core의 조건 검사를 연결할 수 있다. [1, 2, 3]
서버 예외를 놓친 connector 보고
Trino #31888은 Pinot streaming gRPC의 METADATA에서 예외를 읽지 않고 멈춰 이동한 segment가 오류 없이 0행으로 보일 수 있다고 설명한다. 후속 PR은 이 block 처리를 연결하며 실제 rollout은 별도 확인이다. [1]
알 수 없는 완료도 보존한다
split ID, data block 수, final metadata 수신, 예외 code와 승인 상태를 모은다. SERVER_SEGMENT_MISSING이면 성공 집계에서 제외한다. metadata를 못 받은 상태도 오류 없음으로 변환하지 않는다. [1, 3]
235가 있으면 성공 승인 false다
설명용 final metadata에 SERVER_SEGMENT_MISSING=235를 둔다. 행 수와 관계없이 기대 approval=false다. false는 통과하고 true는 없는 segment를 정상 공백으로 세므로 실패한다. [1, 3]
gRPC 수집은 SDK 밖의 일이다
Truthound Core Python SDK 3.3.2의 ConditionalExpressionValidator는 준비한 오류 조건에 성공 flag를 적용한다. 응답 수집과 unknown 정책은 운영자가 정한다. SDK는 gRPC를 수집하거나 Pinot segment를 재배치하지 않는다. [1, 2, 3]
같은 segment 범위를 다시 계획한다
final metadata를 처리하는 지원 connector로 같은 범위를 재계획한다. 다른 snapshot의 retry는 운영상 유용해도 원래 기준 경계를 말없이 대체하지 않는다. [1, 3]
정상 공백과 오류와 미상을 나눈다
세 상태를 분리해야 움직이는 realtime segment의 기대 행 수를 지어내지 않고도 간헐적인 낮은 집계에 대응할 수 있다. [1, 3]
적용 조건
split별 final metadata 수신·exception·approval을 준비한다.
대안
같은 segment 범위를 final metadata 처리 경로로 재계획한다.
한계
metadata 미수신을 error-free 완료로 채우지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
