GCS CSV의 같은 두 행: payload 중복과 record 정체성 구별하기
객체의 정체성과 객체 안 레코드의 정체성을 분리해야 한다. 내용이 같은 두 행도 서로 다른 관측이라면 payload fingerprint만으로 하나로 합쳐서는 안 된다.
같은 내용도 별도 기록일 수 있다
객체의 정체성과 객체 안 레코드의 정체성을 분리해야 한다. 내용이 같은 두 행도 서로 다른 관측이라면 payload fingerprint만으로 하나로 합쳐서는 안 된다. Truthound 검사 전에 무엇을 한 관측으로 셀지 정해야 한다. 객체 하나의 성공 표시를 그 안의 모든 CSV 기록이 남았다는 증거로 사용하면 반복 기록이 사라져도 알아보기 어렵다. [1, 2, 3]
codec 뒤에서 겹치는 ID
Filebeat GCS #53659는 CSV 객체 안 여러 행에 같은 document id와 offset이 부여돼 첫 행만 남는 경우를 보고한다. Azure 경로는 관련 가능성으로만 언급되며 같은 재현으로 취급하지 않는다. 보고는 evtOffset이 진행하지 않아 같은 objectID와 log.offset 0을 받는 경로를 설명한다. 원문 우회 제안이 모든 반복 관측의 의미를 보존하는 해법인지는 별도로 판단해야 한다. [1]
원본 위치를 버리지 않기
객체 generation과 레코드 순번을 가진 원본 목록을 만들고, 각 레코드가 서로 다른 sink ID로 도달하는지 확인한 뒤 누락된 범위만 재처리한다. 객체 generation을 고정하고 codec이 정한 record 경계를 기록한다. 임의의 물리 줄 번호를 multiline record의 순번으로 오인하지 않고, sink의 create·overwrite 결과도 대응한다. [1, 3]
세 위치와 두 payload
설명용 CSV 객체에는 세 위치의 기록이 있고 첫 두 행의 내용은 같다고 둔다. 업무가 세 관측을 모두 보존하므로 기대 record identity 수는 3이며 고유 payload 수 2와 다르다. 고유 sink id 3개는 개수 조건만 충족하며 세 위치가 각각 연결돼야 한다. 1개이면 실패다. fingerprint로 2개가 남아도 세 관측 계약에는 모자란다. 이 fixture는 정의한 예이며 실제 GCS 재수집 결과가 아니다. [1, 3]
고유 ID 수와 실제 대응
Truthound Core Python SDK 3.3.2의 DistinctCountValidator에 min_count=3, max_count=3을 주면 이 fixture의 sink ID 고유 개수를 검사할 수 있다. 원본 위치와 sink ID의 일대일 대응은 별도 산출한다. SDK는 evtOffset을 고치거나 객체를 다시 읽지 않으며 전처리된 전체 표의 범위를 운영자가 고정해야 한다. [1, 2, 3]
fingerprint를 고르기 전의 질문
동일 payload 재전송 제거가 목적이면 fingerprint 우회를 검토할 수 있다. 하지만 같은 내용의 두 독립 관측이 의미를 갖는다면 object generation과 record ordinal을 포함한 ID가 필요하다. 정책을 정한 뒤 누락 범위만 재처리하고 기존 착지분의 중복도 함께 대사한다. [1, 3]
적용 조건
행 구분과 객체 generation이 안정적이어야 하며 동일 내용의 반복 관측을 업무상 중복으로 제거할지 먼저 정한다.
대안
원문이 제시한 fingerprint 우회는 반복 내용의 의미를 확인한 뒤 시험하거나 record ordinal을 포함한 ID 설계를 검토한다.
한계
Truthound는 Filebeat evtOffset을 고치거나 GCS 객체를 다시 수집하지 않는다. 고유 id 개수만으로 개별 원본 대응을 증명하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
