Styxis
Company
Knowledge

Iceberg 중첩 equality delete: 지울 행뿐 아니라 남길 행도 검증하기

삭제 대상을 찾았다는 확인보다 비대상 행이 살아남았다는 확인이 더 중요한 반례를 만들 수 있다.

삭제 성공의 두 조건

삭제 검증은 대상 행 부재와 비대상 행 보존을 동시에 확인해야 한다. Truthound에 삭제된 개수만 전달하면 과도한 삭제가 그럴듯한 성공으로 보일 수 있다. 승인된 survivor 키 집합을 독립적으로 준비하는 것이 출발점이다. [1, 2, 3]

Spark reader와 generic reader의 차이

Iceberg 공개 재현은 struct 안의 키로 equality delete를 만들었을 때 Spark reader가 모든 행을 제거하지만 core generic reader는 기대한 생존 행을 반환하는 경우를 보여 준다. 원본의 중첩 키 조건과 reader 경로를 함께 남겨야 하며, 모든 equality delete가 영향을 받는다고 넓히지 않는다. [1]

남길 키를 먼저 정하기

삭제 대상 키와 보존 대상 키를 독립적으로 계산하고 reader별 생존 집합을 비교한다. 전체 삭제 수만 확인하는 승인을 피한다. 중첩 경로를 평탄화할 때 부모 식별자와 NULL 정책을 보존하고, 기대 집합을 잘못된 reader의 출력에서 만들지 않는다. [1, 3]

행 수는 빠른 신호일 뿐

설명용으로 승인 survivor 집합이 5760행이라고 정의하면 생존 5760행은 필요한 개수 조건을 만족하지만 0행은 실패한다. 같은 5760행이라도 다른 키가 살아남으면 최종 검사는 실패해야 한다. 기대 행 수는 독립적으로 정한 보존 집합의 크기에서 나온다. [1, 3]

Truthound로 정확한 생존 집합 비교

Truthound Core의 DistinctValuesEqualSetValidator로 관측 survivor 키와 승인 집합을 비교할 수 있다. 원래 키가 반복될 수 있으면 별도 행 식별자나 multiplicity 검사도 필요하다. 이 기능이 Spark의 중첩 키 projection을 고치는 것은 아니다. reader 간 대조에서 차이가 나면 해당 읽기 결과의 후속 사용을 보류하고 원본·delete 파일을 함께 보존한다. [1, 2, 3]

적용 조건

같은 삭제 범위의 row_id·nested_key·should_survive를 원본에서 독립 계산하고 실제 survivor 키 집합과 연결한다.

대안

core generic reader와 Spark reader의 survivor 집합을 대조한다.

한계

  • Truthound는 Spark의 nested key projection을 수리하지 않는다. 잘못된 reader로 기대 집합까지 만들면 대조가 무의미하다.

근거

사건 확인일
대상 확인일
수정일