Logstash HTTP pipelining: 메서드 잠금과 record 재조립 순서 구별하기
개별 메서드 보호와 요청 전체의 순서 보존은 다르다. connection 안에서 나뉜 record가 원래 요청 순서대로 결합되는지 확인해야 한다.
전체 순서가 남아야 하는 이유
개별 메서드 보호와 요청 전체의 순서 보존은 다르다. connection 안에서 나뉜 record가 원래 요청 순서대로 결합되는지 확인해야 한다. Truthound는 요청 순서와 원문 결합 결과를 받은 뒤 경계의 어긋남을 대조한다. 정상적으로 발행된 일부 이벤트가 중간 record의 손상을 가리지 않게 해야 한다. [1, 2, 3]
직렬 keep-alive와 pipelining
Logstash #19400은 HTTP pipelining에서 같은 connection의 codec을 여러 worker가 순서 없이 호출해 json_lines가 잘못 조합될 수 있다는 보고다. 직렬 keep-alive와 pipelining을 구별하며 개별 메서드 동기화만으로 충분하지 않다고 설명한다. 원문은 직렬 keep-alive의 정상 경로와 여러 요청이 동시에 진행되는 pipelining을 구별한다. 개별 synchronized 메서드가 복합 호출의 순서를 지킨다는 가정이 문제다. [1]
한 connection의 원본 보존
JSON 한 건을 두 pipelined 요청에 걸쳐 나눈 대조를 만들고, record id와 원문 결합 결과가 어긋난 connection의 발행을 격리한다. 같은 connection의 raw chunk와 도착 순서를 보존한다. 재조립 실패를 단순 행 수 감소로만 기록하면 다른 payload가 만들어진 가능성을 놓친다. [1, 3]
second가 남아야 하는 경계
설명용 첫 요청은 second record의 앞부분, 다음 요청은 뒷부분을 가진다. 순서대로 결합한 기대 id는 second다. 뒤집힌 처리로 CORRUPTED가 되면 총 이벤트 수와 관계없이 실패다. second가 복원되면 이 식별 조건을 충족하고 CORRUPTED는 실패다. record id가 같아도 나머지 필드가 맞는지 원문 대사가 필요하다. [1, 3]
재조립 결과를 검사하기
Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 source_record_id와 reconstructed_record_id를 relationship="=="로 비교한다. 운영자가 chunk 순서와 실제 결과를 추출하고 parse 실패는 별도로 보존한다. SDK는 Netty scheduling이나 tokenizer의 임계구역을 수정하지 않는다. [1, 2, 3]
수신과 조립의 다른 성공
직렬 요청 또는 요청마다 완결된 JSON을 보내는 대안을 시험하고 처리 및 응답 순서의 수정도 검증한다. 새 connection이나 응답을 기다리는 한 요청씩의 조건은 보고의 동시 경로와 다르다. 요청 수신 성공만으로 record 조립을 승인하지 않는다. [1, 3]
적용 조건
같은 TCP connection의 요청 순서와 chunk 원문을 보존하고 HTTP pipelining과 직렬 keep-alive를 구분한다.
대안
pipelining을 피하는 직렬 요청 또는 요청별 완결 JSON 경로를 시험하고 처리·응답 순서 수정을 검증한다.
한계
Truthound는 Netty scheduling이나 tokenizer 임계구역을 수정하지 않는다. 두 이벤트가 나왔다는 개수만으로 record 의미 보존을 증명하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
