Styxis
Company
Knowledge

Beam OrderedListState: 같은 timestamp의 A와 B를 둘 다 남기기

시각은 정렬 키이며 이벤트 식별자가 아니다. 서로 다른 이벤트가 같은 시각에 도착하는 것이 허용된다면 둘 다 상태에서 읽혀야 한다.

정렬 키를 식별자로 쓰면

시각은 정렬 키이며 이벤트 식별자가 아니다. 서로 다른 이벤트가 같은 시각에 도착하는 것이 허용된다면 둘 다 상태에서 읽혀야 한다. Truthound로 검사할 관측도 timestamp 하나로 합치지 않는다. key·bucket·event id를 남겨야 동시시각 기록을 중복으로 지우는 해석을 피할 수 있다. [1, 2, 3]

한 값을 담는 map의 한계

Beam #39782는 FlinkRunner의 Java heap state에서 같은 timestamp를 가진 서로 다른 OrderedListState 원소가 덮어써지는 사례를 보고한다. 댓글도 단일 timestamp map의 표현 제약을 지적하며 수정 배포 완료는 확인되지 않는다. 제보 환경은 Beam 2.61.0, Flink 1.19.1, HashMapStateBackend다. 다른 backend까지 같은 손실률로 일반화하지 않으며 댓글의 구현 설명을 수정 릴리스의 증거로 취급하지 않는다. [1]

두 append를 작게 재현하기

같은 timestamp에 서로 다른 event id를 연속 추가하고 readRange의 원소 집합과 수를 대조해, 한 원소만 남는 state backend 사용을 보류한다. append 원장과 readRange에 같은 key 및 시간 범위를 사용한다. count와 id 집합은 별개 결과로 남겨 A 두 번이 B의 부재를 가리지 못하게 한다. [1, 3]

두 개라는 숫자만으로 부족하다

설명용 키 K의 시각 1000에 event A와 B를 각각 한 번 추가한다. 서로 다른 두 식별자를 보존하는 계약이므로 그 bucket의 기대 원소 수는 2다. readback 개수 2는 개수 조건만 충족한다. A와 B가 각각 있어야 한다. B만 남은 1은 실패이며, A 두 개의 2도 id 집합 대사에서는 실패다. 이 정의된 예를 실제 backend 실행 결과로 표현하지 않는다. [1, 3]

상태에서 꺼낸 뒤 비교하기

Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 readback_bucket_members와 appended_bucket_members를 relationship="=="로 비교할 수 있다. 원소 목록 추출과 id 차집합은 외부 시험에서 준비한다. SDK는 Flink state를 변경하거나 checkpoint에서 사라진 원소를 복원하지 않는다. [1, 2, 3]

상태 표현을 고르는 기준

다중 원소 보존이 확인된 runner 수정본이나 별도 상태 표현을 시험한다. timestamp당 마지막 값만 남기는 업무 map은 다른 계약이므로 그 동작을 OrderedListState의 정상 대조군으로 사용하지 않는다. 실제 승인에는 개수와 식별자 대사 및 복구 시험이 함께 필요하다. [1, 3]

적용 조건

append 원장과 readRange의 key·시간 범위를 일치시키고 원소 id 집합 검사를 개수와 함께 수행한다.

대안

수정된 runner를 검증하거나 다중 원소 보존을 명시한 별도 상태 표현을 시험한다.

한계

  • Truthound는 Flink state backend를 바꾸거나 checkpoint에서 사라진 원소를 복원하지 않는다.

근거

사건 확인일
대상 확인일
수정일