PyIceberg local 파일의 내구성과 commit ACK를 구별한다
폐기된 filesystem-table commit 경로의 내구성 보고는 해당 경로의 범위에서 읽는다. 격리된 복구 시험에서는 ACK 참조와 파일 내용을 대사하고 process 종료와 전원 손실을 구별한다.
프로세스 종료는 전원 손실 시험이 아니다
catalog pointer와 참조 파일의 내구성은 별도 조건이다. 운영자가 보존한 ACK 전 파일 기록을 복구 결과와 Truthound Core로 대조할 수 있지만 process kill을 전원 손실 계약의 대체로 쓰지 않는다. [1, 2, 3]
잘못된 tracker와 deprecated 경로의 범위
Iceberg #18606은 PyIceberg local 파일이 close 뒤 fsync 없이 pointer 변경을 거쳐 전원·kernel 손실 후 0 bytes가 된다고 보고한다. 유지관리자는 Python tracker에 제기할 내용이며 deprecated filesystem-table commit mechanism이라고 지적한다. modern catalog나 객체 저장소 전체로 확대하지 않는다. [1]
격리 복구 환경의 사전 증거
격리 환경에서 ACK snapshot 참조와 장애 전 길이·hash·parse 상태를 남긴다. 정상 process 종료와 전원 손실을 따로 기록한다. 이 검사를 위해 운영 장비에서 장애를 일으키는 절차를 권하지 않는다. [1, 3]
길이 일치는 필요조건이다
설명용 metadata.json의 ACK 직전 길이를 2048 bytes로 정하고 hash도 따로 보존한다. 복구 후 2048은 길이 전제를 통과하지만 hash·parse는 이어서 본다. 0 bytes는 path가 있어도 같은 유효 metadata가 될 수 없어 실패다. [1, 3]
파일 비교와 durability 동작을 나눈다
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 준비한 비결측 bytes 길이를 대조한다. 복구 실행과 파일 수집은 운영자의 일이다. SDK는 fsync나 전원 차단을 수행하지 않으며 크기만 같아도 내용 무결성이 성립하지 않는다. [1, 2, 3]
지원 FileIO의 경계를 확인한다
deprecated commit 경로라는 범위를 유지하며 파일·디렉터리 내구성을 제공하는 지원 FileIO를 검토한다. 다른 tracker에 올라온 보고를 현재 warehouse 전체의 공통 결함 근거로 쓰지 않는다. [1, 3]
확인한 복구 단계만 안내한다
참조 존재, 길이, 내용과 parse를 각 단계로 승인한다. process kill과 전원 손실의 차이를 인계 기록에 남겨 실제 시험이 무엇을 확인했는지 설명한다. [1, 3]
적용 조건
격리 환경의 ACK 전후 파일 길이·hash·parse 기록을 준비한다.
대안
지원 FileIO의 파일·디렉터리 내구성을 격리 복구 시험으로 확인한다.
한계
deprecated filesystem commit 보고를 modern catalog나 객체 저장소로 확대하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
