Hive ACID TRUNCATE 후 Trino에 남은 행: 현재 transaction 상태로 검증하기
파일이 아직 있다는 사실보다 승인된 TRUNCATE 이후 소비자가 무엇을 읽어야 하는지가 중요하다.
빈 상태도 명시적 기대값이다
TRUNCATE의 의미는 파일이 남아 있는지보다 현재 transaction 상태에서 무엇이 보여야 하는지에 있다. Truthound의 행 수 검사가 0을 허용할지 결정하려면 먼저 비우기가 완료됐다는 독립 증거가 필요하다. 모든 빈 조회를 성공으로 인정하는 정책과는 다르다. [1, 2, 3]
compaction 전의 읽기 차이
Trino 공개 보고는 Hive ACID 표를 TRUNCATE한 뒤 Hive에서는 비어 있지만 compaction 전 Trino에는 이전 행이 보이는 사례를 제시한다. 같은 논리 상태를 서로 다른 reader가 다르게 노출한 문제다. 파일 삭제 여부만 확인하면 transaction 가시성 문제를 놓칠 수 있다. [1]
동일 세대에서의 합성 비교
설명용으로 완료된 TRUNCATE와 성공한 조회가 확인된 세대는 visible_rows가 0이어야 한다. 해당 세대의 소비자 조회가 0행이면 승인된 빈 상태와 일치한다. 이전 행 2개가 여전히 보이면 TRUNCATE 이후의 가시성 계약을 위반한다. 새 쓰기가 허용된 이후 세대에 이 기준을 그대로 적용하면 안 되므로 truncation watermark와 조회 시점을 묶어 기록한다. [1, 3]
Truthound와 transaction 증거
동일 truncation 이후의 transaction watermark를 기록하고, 소비 엔진의 결과가 승인된 빈 상태를 반영하는지 확인한다. Truthound Core의 RowCountValidator로 실제 수신 표에 exact_count=0 조건을 적용할 수 있다. 이 검사는 Trino의 Hive transaction 해석을 바꾸지 않는다. 승인된 Hive 상태와 compaction 전후 결과를 대조해 해결 범위를 확인한다. [1, 2, 3]
적용 조건
완료된 truncate_generation의 실제 수신 표와 reader_engine·visible_rows 감사 기록을 연결하고 독립 transaction watermark를 보존한다.
대안
Hive의 승인된 transaction 상태를 기준으로 compaction 전후를 비교한다.
한계
일반적인 0행 결과를 성공으로 간주하는 규칙이 아니다. 완료된 TRUNCATE와 조회 실행 성공 증거가 먼저 필요하다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
