Styxis
Company
Knowledge

Logstash DLQ 파일 없음 오류: 지우기 전에 다음 writer를 확인하기

같은 예외도 writer 수명에서 발생한 위치에 따라 영향이 다르다. 이미 보존한 이벤트를 지우기 전에 다음 writer가 열렸는지 확인한다.

예외명 뒤의 수명 상태

같은 예외도 writer 수명에서 발생한 위치에 따라 영향이 다르다. 이미 보존한 이벤트를 지우기 전에 다음 writer가 열렸는지 확인한다. Truthound 생존 표는 예외명과 writer 상태를 함께 보아야 한다. 같은 오류를 한 실패 유형으로 합치면 정상인 pipeline을 멈추거나 보존된 원본을 지우는 대응으로 이어질 수 있다. [1, 2, 3]

두 call site의 다른 결과

Logstash #19377은 9.4.2의 DLQ reader 삭제와 Files.size 사이 경합으로 writer가 닫힌 채 남는 cascade를 보고한다. 작성자는 finalize 내부 fatal 경로와 완료 뒤 harmless 경로를 구분한다. 제보는 9.0.8에서 9.4.2로 바꾼 환경과 clean_consumed 삭제 경합을 설명한다. 두 call site 중 finalize 내부와 다음 writer 생성 뒤의 영향을 구별하는 범위를 유지한다. [1]

복구 원본을 먼저 보존하기

finalize 단계·nextWriter 도달·후속 기록 수락을 연결하고, 닫힌 writer를 정상 상태로 두는 실행의 복구 완료를 보류한다. 원본 및 DLQ 파일을 먼저 보존하고 격리된 승인 probe만 사용한다. 사용자 로그에 임의 시험 데이터를 섞어 completeness를 계산하지 않는다. [1, 3]

probe가 확인하는 한 조건

설명용 finalize 완료 계약은 다음 writer가 열려 승인된 probe 기록을 받는 것이다. probe 수락 1은 이 생존 조건을 충족하고 닫힌 채 0은 실패다. probe 내용 보존은 별도 확인한다. probe 수락 1은 그 시점의 생존 조건만 통과한다. 0은 실패지만 과거 blackout 전체의 손실 수를 이 플래그에서 추측하지 않는다. [1, 3]

phase trace를 준비한 비교

Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 required_post_finalize_write_ok와 post_finalize_write_ok를 relationship="=="로 비교한다. 운영자가 phase trace와 안전한 probe 결과를 준비한다. SDK는 파일을 삭제하거나 writer를 다시 열지 않으며 생존 확인으로 과거 로그 복구를 증명하지 않는다. [1, 2, 3]

같은 예외에 다른 대응

clean_consumed 우회와 retain.age 축소는 보존 기간·용량 비용을 검토한 뒤 선택한다. nextWriter 이후 standalone 오류는 writer가 살아 있을 수 있어 같은 삭제·재시작 대응을 강제하지 않는다. 수정판 검증과 blackout 구간 원본 대사는 서로 다른 완료 항목으로 둔다. [1, 3]

적용 조건

운영 원본과 DLQ를 보존하고 격리된 승인 probe로 writer 상태를 확인하며 fatal·harmless call site를 구분한다.

대안

clean_consumed 우회와 retain.age 변경의 보존·용량 비용을 검토하고 지원 수정판을 시험한다.

한계

  • Truthound는 DLQ 파일을 삭제하거나 writer를 다시 열지 않는다. 임의 probe 통과만으로 과거 blackout 구간의 로그 복구를 증명하지 않는다.

근거

사건 확인일
대상 확인일
수정일