Styxis
Company
Knowledge

Flink checkpoint 이후의 B@20: 아직 남은 buffer보다 watermark가 앞설 때

완료된 checkpoint의 버퍼와 그 뒤에 받은 현재 버퍼는 다르다. 아직 방출되지 않은 이벤트를 watermark가 앞질렀는지 확인해야 한다.

완료되지 않은 다음 buffer

완료된 checkpoint의 버퍼와 그 뒤에 받은 현재 버퍼는 다르다. 아직 방출되지 않은 이벤트를 watermark가 앞질렀는지 확인해야 한다. Truthound는 buffer 관측과 watermark를 함께 받은 뒤에야 이 조기 마감을 표시할 수 있다. checkpoint 완료 한 줄로 모든 대기 관측의 안정성을 대신하지 않는다. [1, 2, 3]

harness가 확인한 순서

Beam #39991은 checkpoint 1 완료 후에도 B@20이 버퍼에 남는데 watermark가 100으로 나가는 경로를 소스 메서드 추출 harness로 확인했다고 보고한다. 제안 Flink JUnit과 전체 integration test는 실행하지 않았다고 명시한다. A@10을 내보낸 뒤 B@20의 hold가 지워지는 단계가 핵심이다. 소스 추출 harness 결과와 제안한 전체 runner test를 같은 재현 수준으로 부르지 않는다. [1]

operator 안에서 시점을 맞추기

checkpoint별 남은 최소 event-time과 출력 watermark를 대조해, 미방출 B를 이미 늦은 데이터로 분류하는 downstream 공개를 보류한다. 동일 operator의 checkpoint와 buffer ID를 연결하고 미방출 최소 timestamp를 보존한다. buffer가 비어 있는 시점의 watermark를 이전 상태와 섞지 않는다. [1, 3]

20보다 앞선 watermark

설명용 checkpoint 1 뒤 B@20은 아직 버퍼에 있다. 보수적 출력 watermark는 20 이하여야 하므로 초과 플래그 기대값은 0이다. watermark 100의 초과 플래그 1은 실패다. watermark 20 이하의 초과 플래그 0은 조건을 충족한다. 100이 지나간 1은 실패다. count나 watermark의 단조 증가만으로 이 보존 의무를 대체하지 않는다. [1, 3]

초과 플래그의 준비

Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 permitted_past_buffer_flag와 watermark_past_buffer_flag를 relationship="=="로 대조한다. operator trace에서 같은 시점의 초과 여부를 산출하고 미확인 trace는 따로 둔다. SDK는 Flink hold를 복구하거나 downstream에서 버린 이벤트를 되살리지 않는다. [1, 2, 3]

hold를 내려도 되는 시점

수정 runner에서 checkpoint 사이의 새 buffer와 bundle 완료 조건을 함께 시험한다. B가 이미 방출됐거나 buffer가 비었다면 이전 20 상한은 남겨 둘 필요가 없다. 복구 판단은 정상 이벤트의 원본 소속과 downstream 재처리 범위까지 대사한 뒤 내린다. [1, 3]

적용 조건

동일 operator의 checkpoint와 미방출 buffer timestamp를 보존하고 외부에서 watermark 초과 플래그를 산출한다.

대안

수정 runner에서 checkpoint 사이 새 buffer와 bundle 완료 조건을 포함한 통합시험을 수행한다.

한계

  • Truthound는 Flink watermark hold를 복구하거나 지연 이벤트를 되살리지 않는다. 소스 메서드 harness와 실제 runner 통합 결과를 구분한다.

근거

사건 확인일
대상 확인일
수정일