Styxis
Company
Knowledge

Pulsar 부분 batch ACK 이후 재전달: 메시지보다 업무 효과의 중복을 검사하자

ACK 완료 표시와 재시작 후 같은 업무가 한 번만 적용되는지는 별도 계약이다.

재전달 자체가 유실은 아니다

ACK 완료와 복구 후 업무 처리의 단 한 번 효과는 별도 계약이다. Truthound로 메시지 중복을 찾았다는 사실만으로 브로커의 전송 정책이 잘못됐다고 단정할 수 없다. 재전달을 허용하는 시스템에서는 같은 메시지가 만든 업무 효과를 별도로 확인해야 한다. [1, 2, 3]

bitmap 변경과 영속화 예약

Pulsar 공개 보고는 batch 일부에 대한 ACK가 메모리 bitmap만 갱신하고 persistence를 예약하는 dirty 상태를 바꾸지 않아 저장되지 않을 수 있다고 설명한다. 충돌 후 이미 처리한 메시지가 다시 전달될 위험이며 메시지 유실과는 구분한다. 이 차이를 유지해야 복구 조치도 적절해진다. [1]

안정적인 메시지 키를 남기기

batch index를 포함한 안정적 메시지 식별자로 처리 기록을 남기고, 부분 ACK 후 복구 대조군에서 중복 업무 효과가 없는지 검사한다. 배달 시도 ID만 키로 쓰면 같은 메시지의 재전달을 서로 다른 업무로 셀 수 있다. 원장에는 원래 메시지와 효과 ID의 연결도 남긴다. [1, 3]

설명용 효과 계약

한 번의 효과만 허용하는 합성 업무에서 duplicate_business_effects는 0이어야 한다. 추가 적용된 중복 업무 효과가 0개이면 재전달에도 효과 계약은 유지된다. 1개가 발생하면 같은 메시지의 처리가 업무에 다시 반영된 것이다. 메시지가 다시 도착했어도 멱등 처리로 추가 효과가 없다면 이 조건은 통과할 수 있다. 배달 횟수와 효과 횟수를 같은 지표로 합치지 않는다. [1, 3]

Truthound와 멱등 처리의 분리

Truthound Core의 MultiColumnUniqueValidator로 실제 적용된 업무 효과만 담은 원장을 검사한다. 한 메시지가 한 효과를 내는 계약이라면 메시지 ID와 batch index가 복합 키다. 재전달 시도나 중복 방지로 거절한 로그까지 같은 표에 넣으면 정상 재시도를 중복 효과로 오판하므로 분리한다. 업무가 반복 효과를 허용하면 다른 키 계약이 필요하다. 이 기능은 ACK를 영속화하거나 exactly-once 전송을 제공하지 않는다. consumer의 멱등 처리와 브로커 수정 검증을 각각 수행한 뒤 복구 대조군을 다시 실행한다. [1, 2, 3]

적용 조건

동일 복구 범위의 message_id·batch_index·business_effect_id를 실제 적용 효과 원장으로 준비하고 전달 시도 로그는 분리한다.

대안

consumer의 안정적 메시지 키로 업무 효과를 멱등화한다.

한계

  • 재전달 자체는 소비 정책에 따라 허용될 수 있다. Truthound가 브로커 ACK를 영속화하거나 exactly-once 전송을 제공하지 않는다.

근거

사건 확인일
대상 확인일
수정일