Dask·Zarr 병렬 저장: 읽히는 파일보다 shard 쓰기 소유권을 확인하기
같은 shard의 부분 갱신이 겹치면 저장 완료와 픽셀 보존은 다른 결과가 된다.
Dask·Zarr 병렬 저장: 읽히는 파일보다 shard 쓰기 소유권을 확인하기
읽기 성공은 쓰기 경쟁이 없다는 증거가 아니므로 shard 소유와 원본 픽셀 보존을 함께 확인해야 한다. 작업 블록이 달라도 자동으로 결정된 물리 shard는 같을 수 있다. 파일이 열린다는 이유로 영상 분석 담당자에게 넘기면 기본값으로 남은 위치를 실제 관측으로 해석할 위험이 있다. [1, 2, 3]
보고의 범위와 전제
Dask 이슈 12631은 자동 shard가 여러 쓰기 블록을 하나로 묶은 구성에서 병렬 부분 갱신 뒤 값이 빠지는 경우를 제시한다. 직렬 실행, 잠금, shard에 맞춘 rechunk 대조를 함께 제공한다. 원문에서 덮어쓰기 모드가 통과한 이유는 시험 버전의 잠금 경로였으며 덮어쓰기를 일반 해결책으로 권한 것은 아니다. [1]
입력에서 확인할 관계
실제로 결정된 shard layout과 쓰기 블록을 기록하고 직렬·병렬 결과를 좌표별 원본값과 비교한다. 직렬 성공을 다른 storage backend나 distributed worker의 안전성으로 확대하지 않는다. 잠금은 처리량 비용을, rechunk는 쓰기 소유권과 메모리 범위를 함께 검토해야 한다. [1, 3]
승인 기준을 정하는 작은 사례
설명용 선택 좌표의 원래 값을 37로 정하면 저장 후에도 37이어야 한다. 37이면 이 좌표 보존은 통과하지만 0이면 읽을 수 있는 파일이라도 값 보존에 실패했다. 이 한 좌표의 성공으로 배열 전체를 승인하지 않고 실제 사용 범위의 원본 좌표를 대사한다. [1, 3]
Truthound 검사에 넘길 경계
Truthound Core 3.3.2의 ColumnPairValidator로 준비된 좌표별 original_value와 stored_value를 비교할 수 있다. null은 별도로 검사하고, 비교가 끝나기 전에 기본값을 누락 대체로 채우지 않는다. Truthound가 동시 쓰기를 동기화하지는 않는다. shard 단위 소유권 또는 적절한 잠금을 실행 계층에서 검증한 뒤 같은 병렬 조건으로 다시 확인한다. [1, 2, 3]
적용 조건
승인된 원본 셀 값과 실제 저장 후 읽은 값을 좌표로 연결하고 shard별 쓰기 소유권을 기록한다.
대안
shard와 쓰기 소유권을 맞추는 rechunk 또는 적합한 잠금 전략을 실행 계층에서 검증한다.
한계
결과 검사로 동시 쓰기를 동기화할 수 없으며 원문 시험을 다른 storage backend의 보장으로 확대하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
