Truthound · 저장과 복구의 일관성 · 1/3
저장 전후의 행·값·메타데이터를 함께 확인합니다.
55 편
SQL Server when_needed: NULL LSN을 복구 지점으로 승인하지 않기
offset 레코드가 있다는 사실과 재개 가능한 commit LSN이 있다는 사실은 다르다. CDC가 재생성된 상황의 NULL LSN을 유효한 복구 지점으로 승인하면 안 된다.
Spanner change stream: RPC 종료와 restriction 완료를 다른 경계로 보기
한 RPC의 인위적 종료와 전체 restriction 완료를 구별해야 한다. tracker 진척은 실제로 읽은 경계에 맞춰 설명한다.
OpenSearch snapshot failure의 index_uuid: 이름과 세대를 나눠 설명하기
자체 왕복 일치와 실제 index 세대 식별은 다르다. 실패 응답의 UUID는 snapshot 당시 metadata의 UUID와 대조해야 한다.
Logstash DLQ 파일 없음 오류: 지우기 전에 다음 writer를 확인하기
같은 예외도 writer 수명에서 발생한 위치에 따라 영향이 다르다. 이미 보존한 이벤트를 지우기 전에 다음 writer가 열렸는지 확인한다.
Filebeat cursor cache: receiver 시작 순서가 state index를 바꾸는가
입력 ID와 실제 cached store 소유권을 따로 확인해야 한다. 재시작 순서가 달라도 각 입력은 자신의 state index를 읽어야 한다.
PostgreSQL decoderbufs 재개: BEGIN을 행 skip으로 세면 생기는 중복
LSN에 함께 있는 제어 메시지와 행을 따로 세야 한다. 재방출은 새 원본 거래가 아니므로 전달 시도와 업무 반영을 분리한다.
Bigtable RESUME_OR_NEW: 한 job 안의 partition consumer 수 확인하기
job 개수와 partition consumer 소유권은 다르다. 같은 실행의 초기화가 반복돼도 기존 consumer chain을 다시 만들지 않는지 확인해야 한다.
Beam OrderedListState: 같은 timestamp의 A와 B를 둘 다 남기기
시각은 정렬 키이며 이벤트 식별자가 아니다. 서로 다른 이벤트가 같은 시각에 도착하는 것이 허용된다면 둘 다 상태에서 읽혀야 한다.
Beam Parquet window 혼합: 파일이 읽혀도 소속을 다시 확인하기
파일이 읽힌다는 사실과 event가 원래 window에 남는다는 사실은 다르다. 마지막으로 본 window가 앞선 window의 행까지 소유하지 않는지 확인해야 한다.
공유 Puffin 파일은 마지막 활성 deletion vector까지 보존한다
공유 Puffin의 일부 deletion vector를 교체해도 다른 활성 참조가 남으면 컨테이너를 보관한다. 정리 후보와 전체 참조 graph를 대사한 뒤 offset과 내용은 별도로 확인한다.
Trino spooling URI의 유효 수명은 credential 만료에도 묶인다
spool URL의 전달 가능 창은 URL 만료와 signing credential 만료 중 이른 경계로 계산한다. 전달 전 지연까지 반영해 client에게 실제 남은 시간을 안내하고 token 원문은 남기지 않는다.
Delta 삭제 벡터가 있어도 활성 파일 inventory는 남아야 한다
삭제 벡터가 붙은 파티션을 정리하기 전에 활성 로그의 파일 목록과 통계를 대사한다. 생존 행 수와 물리 파일 수를 구분해야 빈 파티션이라는 오판을 막을 수 있다.
PyIceberg local 파일의 내구성과 commit ACK를 구별한다
폐기된 filesystem-table commit 경로의 내구성 보고는 해당 경로의 범위에서 읽는다. 격리된 복구 시험에서는 ACK 참조와 파일 내용을 대사하고 process 종료와 전원 손실을 구별한다.
Iceberg REST schema 정리에서 current-schema-id를 먼저 대조해야 하는 이유
정리와 열 추가가 같은 REST 요청에 들어갈 때는 현재 schema 참조가 보존된 정의에 연결되는지 확인해야 한다.
Iceberg REST의 동시 200 응답 뒤 실제 변경을 대사한다
REST 동시 갱신이 각각 성공 응답을 받았다면 새로 읽은 table 상태에 승인된 property key가 모두 남았는지 확인한다. 성공 code 개수 대신 변경의 정체성으로 보존을 판단한다.
Iceberg 이름 재사용 뒤 writer도 새 table 정체성을 써야 한다
동명 table을 다시 만들었다면 UUID와 data·manifest의 실제 쓰기 target을 함께 확인한다. 이름과 schema ID가 같아도 이전 factory의 location을 새 table의 것으로 승인하지 않는다.
Iceberg maintenance는 최초 성공 뒤 다음 주기도 진행해야 한다
공유 lock을 쓰는 maintenance 조합은 첫 완료 뒤의 반복 진행까지 확인한다. 실제 schedule에 맞춘 관측 창에서 task별 완료를 세어 아직 예정되지 않은 작업과 정체를 구분한다.
Hudi meta sync의 clean 누락은 필요한 window로 분류한다
archived clean의 부재는 현재 sync에 필요한 window에 속하는지부터 판단한다. 필수 근거가 사라졌다면 같은 경계의 검증된 전체 partition 목록으로 대조한 뒤 완료를 결정한다.
Hudi savepoint는 clean 뒤 실제 AS OF 읽기까지 확인한다
clean 뒤 savepoint 파일이 남았어도 지정 commit의 AS OF 읽기를 직접 확인한다. 보존 inventory와 consumer-read 상태를 나누어 파일 부재와 읽기 경계 거절을 구별한다.
Hudi 삭제 이벤트의 중첩 ordering 값도 원래 순서를 지켜야 한다
늦게 도착한 delete가 최신 update를 지우는지 같은 키로 재생해 본다. 중첩 ordering 경로와 table version을 기록하고 사건 시각 정책에 맞는 생존 버전을 확인한다.
