Styxis
Company
Knowledge

Doris external scan의 성공 종료와 데이터 완전성을 분리하자

Spark 작업이 성공했어도 취소나 오류가 정상 eos로 전달되면 일부 행만 읽었을 수 있다.

정상 종료 표시의 한계

정상 종료 신호와 데이터 완전성은 서로 독립된 발행 조건이어야 한다. Truthound가 검사할 결과 표가 존재한다는 사실만으로 원래 범위를 끝까지 읽었다고 볼 수 없다. 동일 snapshot의 독립 원본 기준이 있어야 짧은 읽기를 구별할 수 있다. [1, 2, 3]

오류 상태를 다시 읽지 않는 경로

Doris 공개 보고는 external scan이 queue 상태를 대기 전에 확인한 뒤 취소·오류가 발생해도 정상 종료처럼 반환하는 경로를 설명한다. 후속 Spark 작업이 성공으로 끝났지만 결과 행이 부족한 대조가 제시된다. 업무상 정상 빈 범위와 오류로 잘린 범위를 구분하는 것이 핵심이다. [1]

고정 범위의 합성 대조

설명용 원본 snapshot의 검사 범위에 5행이 있다고 독립적으로 확정했다면 추출 5행은 행 수 조건을 통과하고 2행은 실패한다. 원본이 계속 바뀌는 동안 얻은 다른 시점의 개수를 기준으로 쓰면 이 비교는 유효하지 않다. 같은 개수의 잘못된 행이 들어오는 경우도 있으므로 키 집합 검사가 뒤따라야 한다. [1, 3]

Truthound 앞에서 준비할 증거

스캔 snapshot과 예상 키 범위를 고정하고 결과를 독립 원본 집계와 대조한다. 짧은 읽기를 정상 빈 결과로 승인하지 않는다. Truthound Core의 RowCountValidator에 승인한 범위의 기대 개수를 적용할 수 있지만, snapshot 정렬과 실행 성공 증거는 외부에서 제공해야 한다. 이 검사는 취소 상태 전달을 수정하지 않으며, 다른 reader로 같은 범위를 읽는 대조도 원본 시점을 맞춰야 한다. [1, 2, 3]

적용 조건

같은 snapshot_id·key_range에서 독립 source_rows와 실제 extracted_rows를 구하고 완료 상태를 함께 보존한다.

대안

동일 snapshot의 다른 reader로 키와 행 수를 대조한다.

한계

  • 원본과 결과 시점이 다르면 행 수 차이가 장애 증거가 아닐 수 있다. Truthound가 외부 스캔의 취소 상태 전달을 수정하지 않는다.

근거

사건 확인일
대상 확인일
수정일