Styxis
Company
Knowledge

Spanner change stream: RPC 종료와 restriction 완료를 다른 경계로 보기

한 RPC의 인위적 종료와 전체 restriction 완료를 구별해야 한다. tracker 진척은 실제로 읽은 경계에 맞춰 설명한다.

하나의 쿼리 뒤에 남는 범위

한 RPC의 인위적 종료와 전체 restriction 완료를 구별해야 한다. tracker 진척은 실제로 읽은 경계에 맞춰 설명한다. Truthound에 넘길 진척표도 두 끝을 같은 열에 넣지 않는다. 읽었다는 근거 없이 전체 끝으로 이동한 상태는 다음 실행에서 원본을 건너뛸 수 있다. [1, 2, 3]

보고와 릴리스의 다른 근거

Beam #39821은 Spanner change stream의 인위적 query 종료시각과 원래 restriction 끝을 혼동해 tracker가 과하게 전진할 수 있었다는 설명이다. 작성자는 PR #37326을 수정 근거로 연결했지만 배포 릴리스는 이 글에서 확인하지 않았다. 짧은 보고는 CPU 부하와 경계 추적의 관계를 설명하지만 고객 손실 수나 부하별 확률을 제공하지 않는다. 연결된 PR과 설치 버전의 포함 여부는 별도 확인이다. [1]

경계 세 개를 나란히 놓기

query 종료시각·실제 읽은 경계·저장한 tracker 위치를 나란히 보여 주고, 읽지 않은 구간을 완료로 넘긴 실행의 재개 승인을 보류한다. partition과 경계 포함 규칙을 맞추고 RPC별로 확인한 처리 끝을 독립 보관한다. 재개 시험에는 경계 직후 키도 넣는다. [1, 3]

40까지 읽은 원장

설명용 전체 범위는 tick 0~100이고 한 RPC는 40에서 끝난다. 40까지 읽었다는 독립 기록만 있으면 승인한 완료 경계는 40이다. tracker가 100을 주장하면 실패다. 관측 40은 이 fixture의 진척 조건을 충족하고 100은 실패다. 실제 시스템의 timestamp 단위나 포함 규칙을 이 tick 예시에서 추측하지 않는다. [1, 3]

진척값에 붙일 의미

Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 verified_processed_end와 claimed_processed_end를 relationship="=="로 대조할 수 있다. 운영자가 같은 경계 의미의 비결측 값을 준비해야 한다. SDK는 Spanner RPC나 restriction tracker를 고치거나 읽지 않은 변경을 복원하지 않는다. [1, 2, 3]

전체 완료를 알리는 시점

수정이 포함된 정확한 Beam 버전을 확인한 뒤 같은 경계에서 원본 키를 대사한다. 실제로 100까지 읽었다는 증거가 있다면 이 fixture의 40을 상한으로 강제하지 않는다. 전체 restriction 완료 표시는 끝까지의 처리와 재개 규약을 확인한 후에만 내린다. [1, 3]

적용 조건

실제 경계 포함 규칙과 partition을 맞추고 보고의 artificial end와 원래 restriction end를 따로 수집한다.

대안

연결된 수정이 포함된 정확한 Beam 버전을 확인하고 경계 직후 원본 키를 대사하는 재개 시험을 수행한다.

한계

  • Truthound는 Spanner RPC나 restriction tracker를 고치지 않는다. CPU 부하와 손실 비율을 이 짧은 보고로 수치화하지 않는다.

근거

사건 확인일
대상 확인일
수정일