Styxis
Company
Knowledge

Iceberg fixed binary 삭제 키가 하나로 줄면 buffer 소유권을 확인하자

파일에 기록한 키 개수와 reader가 메모리 집합으로 만든 키 개수는 같은지 확인해야 한다.

검사 자료도 독립 복사여야 한다

삭제 키의 개수는 파일에 쓴 시점과 메모리 구조로 읽은 시점 양쪽에서 보존되어야 한다. Truthound에 넘기는 검사용 값까지 같은 가변 buffer를 참조한다면 검사도 원래 문제에 오염된다. 먼저 각 키의 바이트를 소유하는 자료를 준비해야 한다. [1, 2, 3]

가변 배열 재사용의 보고

Iceberg 공개 재현은 fixed binary equality delete를 읽으면서 같은 가변 byte 배열을 재사용해 여러 서로 다른 키가 집합에서 하나처럼 취급되는 경로를 설명한다. 대부분의 삭제가 적용되지 않는 현상이다. 단순히 파일에 delete 키가 많이 있다는 확인만으로 reader의 실제 키 집합을 알 수 없다. [1]

파일과 로더 경계를 대조하기

각 키의 바이트를 독립 복사한 검사용 표를 만들고 파일·로더 경계의 distinct 개수와 키 집합을 비교한다. 설명용 승인 키 집합에 서로 다른 143개가 있다면 로더에서도 143개가 남아야 한다. 1개로 축약되면 실패다. 개수가 맞아도 다른 값으로 치환될 수 있으므로 hex 키 집합까지 대조한다. [1, 3]

Truthound의 cardinality 확인

Truthound Core의 DistinctCountValidator로 독립 복사한 키 열의 distinct 개수를 승인 기준과 비교할 수 있다. 파일과 loader의 관측 시점·delete 범위를 맞춰야 한다. 이 검사는 reader 메모리 소유권을 고치지 않는다. 독립 복사 대조에서 문제가 사라졌다는 사실도 운영 reader가 수정됐다는 증명은 아니므로 실제 삭제 결과를 다시 확인한다. [1, 2, 3]

적용 조건

같은 delete 범위의 delete_file_key_hex와 loaded_key_hex를 각 바이트의 독립 복사본으로 만들고 관측 시점을 맞춘다.

대안

로더 경계에서 각 byte key를 소유하는 복사본을 만든다.

한계

  • 검사 자료 자체가 같은 가변 버퍼를 참조하면 검증도 오염된다. Truthound가 reader의 메모리 소유권을 고치지 않는다.

근거

사건 확인일
대상 확인일
수정일