Styxis
Company
Knowledge

Bigtable RESUME_OR_NEW: 한 job 안의 partition consumer 수 확인하기

job 개수와 partition consumer 소유권은 다르다. 같은 실행의 초기화가 반복돼도 기존 consumer chain을 다시 만들지 않는지 확인해야 한다.

job 수 밖의 소유권

job 개수와 partition consumer 소유권은 다르다. 같은 실행의 초기화가 반복돼도 기존 consumer chain을 다시 만들지 않는지 확인해야 한다. Truthound 비교에서 job 수만 가져오면 chain의 이중화를 가린다. 원본 mutation이 두 번 반영되는지와 consumer 소유권이 겹치는지를 다른 관측으로 남긴다. [1, 2, 3]

지속 중복의 보고 조건

Beam #39970은 Java SDK 2.75.0의 Bigtable RESUME_OR_NEW에서 한 job·한 worker인데 반복 초기화 뒤 지속 중복이 관측됐다는 보고다. 자신을 이전 pipeline으로 보는 설명은 의심 원인이며 제안 수정의 배포를 확인하지 않았다. 지속 중복은 checkpoint의 짧은 겹침과 다르다고 원문이 명시한다. initialize 재실행과 동일 UUID 잠금의 설명은 제보의 의심 원인이지 우리 통합시험 결과가 아니다. [1]

초기화 순서를 분해하기

같은 job 안에서 초기화 재실행 전후 partition별 활성 consumer를 대조하고, 원본 mutation의 이중 업무 반영이 생기는 구간을 격리한다. chain ID·partition·잠금 세대와 실행 ID를 수집한다. 같은 실행의 재초기화와 새 job으로 넘기는 정당한 resume를 구별한다. [1, 3]

partition P의 한 chain

설명용 job J의 partition P는 한 활성 chain만 허용한다. 초기화 재실행 뒤 관측 1은 소유권 수 조건을 지키지만 2는 중복 chain이므로 실패다. chain 1은 개수 조건만 충족하고 2는 실패다. chain 하나의 원본 커버리지나 exactly-once 효과는 이 비교만으로 확인되지 않는다. [1, 3]

같은 시각의 수를 비교하기

Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 approved_consumer_chains와 active_consumer_chains를 relationship="=="로 비교한다. 관측 시각과 잠금 세대를 맞추는 집계는 운영자가 수행한다. SDK는 Bigtable metadata 잠금이나 Dataflow 초기화를 수정하지 않는다. [1, 2, 3]

resume를 막는 우회 비용

FAIL_IF_EXISTS는 보고의 중복을 피하는 대안이지만 다음 job의 정당한 기존 metadata 재개도 막는다. 이 비용을 기록하고 수정본에서 동일 실행의 반복 초기화와 새 실행의 resume를 모두 시험한다. 승인된 handoff의 짧은 겹침에는 별도 소유권 규칙이 필요하다. [1, 3]

적용 조건

consumer chain ID와 partition 잠금 세대를 수집하고 한 job 내 재초기화와 새 job의 정당한 resume를 구분한다.

대안

FAIL_IF_EXISTS 우회를 시험하되 새 job의 정당한 재개를 막는 비용을 함께 평가한다.

한계

  • Truthound는 Bigtable metadata 잠금이나 Dataflow 초기화를 고치지 않는다. chain 수가 1이어도 모든 mutation 보존을 증명하지 않는다.

근거

사건 확인일
대상 확인일
수정일