Styxis
Company
Knowledge

Hive ACID TRUNCATE 후 Trino에 남은 행: 현재 transaction 상태로 검증하기

파일이 아직 있다는 사실보다 승인된 TRUNCATE 이후 소비자가 무엇을 읽어야 하는지가 중요하다.

빈 상태도 명시적 기대값이다

TRUNCATE의 의미는 파일이 남아 있는지보다 현재 transaction 상태에서 무엇이 보여야 하는지에 있다. Truthound의 행 수 검사가 0을 허용할지 결정하려면 먼저 비우기가 완료됐다는 독립 증거가 필요하다. 모든 빈 조회를 성공으로 인정하는 정책과는 다르다. [1, 2, 3]

compaction 전의 읽기 차이

Trino 공개 보고는 Hive ACID 표를 TRUNCATE한 뒤 Hive에서는 비어 있지만 compaction 전 Trino에는 이전 행이 보이는 사례를 제시한다. 같은 논리 상태를 서로 다른 reader가 다르게 노출한 문제다. 파일 삭제 여부만 확인하면 transaction 가시성 문제를 놓칠 수 있다. [1]

동일 세대에서의 합성 비교

설명용으로 완료된 TRUNCATE와 성공한 조회가 확인된 세대는 visible_rows가 0이어야 한다. 해당 세대의 소비자 조회가 0행이면 승인된 빈 상태와 일치한다. 이전 행 2개가 여전히 보이면 TRUNCATE 이후의 가시성 계약을 위반한다. 새 쓰기가 허용된 이후 세대에 이 기준을 그대로 적용하면 안 되므로 truncation watermark와 조회 시점을 묶어 기록한다. [1, 3]

Truthound와 transaction 증거

동일 truncation 이후의 transaction watermark를 기록하고, 소비 엔진의 결과가 승인된 빈 상태를 반영하는지 확인한다. Truthound Core의 RowCountValidator로 실제 수신 표에 exact_count=0 조건을 적용할 수 있다. 이 검사는 Trino의 Hive transaction 해석을 바꾸지 않는다. 승인된 Hive 상태와 compaction 전후 결과를 대조해 해결 범위를 확인한다. [1, 2, 3]

적용 조건

완료된 truncate_generation의 실제 수신 표와 reader_engine·visible_rows 감사 기록을 연결하고 독립 transaction watermark를 보존한다.

대안

Hive의 승인된 transaction 상태를 기준으로 compaction 전후를 비교한다.

한계

  • 일반적인 0행 결과를 성공으로 간주하는 규칙이 아니다. 완료된 TRUNCATE와 조회 실행 성공 증거가 먼저 필요하다.

근거

사건 확인일
대상 확인일
수정일