Styxis
Company
Knowledge

Iceberg maintenance는 최초 성공 뒤 다음 주기도 진행해야 한다

공유 lock을 쓰는 maintenance 조합은 첫 완료 뒤의 반복 진행까지 확인한다. 실제 schedule에 맞춘 관측 창에서 task별 완료를 세어 아직 예정되지 않은 작업과 정체를 구분한다.

반복 서비스의 수용 기준

lock을 공유하는 각 maintenance task가 다음 요구 주기를 마쳐야 반복 서비스를 승인할 수 있다. 운영자가 정한 관측 창에서 Truthound Core로 task별 완료 횟수를 확인할 수 있다. [1, 2, 3]

조합에서만 멈춘 보고

Iceberg #18435는 1.12.0 Flink maintenance에서 ConvertEqualityDeletes가 다른 task의 watermark를 전달하지 않아 lock이 풀리지 않는다고 보고한다. 단독 converter는 성공하는 대조다. checkpoint 복원 영향은 원문에서 시험하지 않은 가설이다. [1]

trigger와 release epoch를 연결한다

task 종류, trigger·completion epoch, release watermark와 count를 모은다. 조합에서 각 task의 두 번째 승인 주기까지 본다. 실제 schedule로 관측 창을 정해야 실행 예정도 안 된 작업을 멈췄다고 판단하지 않는다. [1, 3]

두 번째 완료를 경계로 둔 예제

설명용 최소 기준은 task별 2 cycles다. 완료 2는 통과하고 1은 최초 성공이 있어도 실패한다. 이 threshold는 계속 진행을 구별하는 예제이며 모든 maintenance의 보편 SLO가 아니다. [1, 3]

횟수로 lock 원인을 확정하지 않는다

Truthound Core Python SDK 3.3.2의 BetweenValidator에 min_value=2를 적용할 수 있다. task ID와 관측 창은 운영자가 제공한다. SDK는 watermark를 전파하거나 lock을 풀지 않으며 count만으로 원인을 증명하지 않는다. [1, 2, 3]

단독과 조합을 같은 부하에서 본다

converter 단독과 조합을 같은 부하로 대조하고 미진행 task의 watermark·lock trace를 보존한다. 단독 성공은 조사 대조군 하나이며 조합 성공을 대신하지 않는다. [1, 3]

관측한 task 집합만 승인한다

실제 관측한 task 집합의 반복 준비성만 안내한다. count는 이 창의 진행 조건을 확인하며 미래 모든 schedule이나 checkpoint 복원까지 인증하지 않는다. [1, 3]

적용 조건

실제 schedule의 관측 창과 task별 trigger·완료·release를 준비한다.

대안

같은 부하의 단독·조합 대조와 watermark trace를 유지한다.

한계

  • 완료 횟수는 lock 원인이나 미래 checkpoint 복원의 보장이 아니다.

근거

사건 확인일
대상 확인일
수정일