Styxis
Company
Knowledge

잘린 Delta timestamp 통계를 정확한 상한으로 읽지 않기

millisecond 통계와 microsecond 원시값의 정밀도 차이를 보존한다. 같은 사건의 중복 보고와 후속 수정도 함께 읽는다.

정밀도가 다른 숫자의 경계

잘린 timestamp 통계는 원시 값의 정확 상한이 아니므로 정밀도 보수성을 보장한 pruning과 원래 행 ID 대사를 함께 승인해야 한다. 잘린 최대값이 실제값보다 작다는 사실은 올바른 결과를 건너뛸 근거가 아니다. 통계의 보수적 범위를 해석할 때 단위를 함께 전달한다. Truthound에 제공할 기대 행 ID는 정밀도를 잃지 않은 원시 timestamp 필터에서 도출한다. [1, 2, 3]

중복과 2.1.0 수정이 있는 보고

Polars #30180은 millisecond로 잘린 Delta timestamp max 통계를 정확 상한처럼 써서 sub-millisecond 필터의 파일을 건너뛰는 보고다. 후속은 #30147과 같은 사건이며 #30194가 millisecond 끝까지 상한을 넓혀 2.1.0에 출시됐다고 명시한다. 후속의 2.1.0 출시 설명은 유지관리자가 명시한 근거다. 독자의 설치 조합을 이 글이 실행해 확인했다는 뜻은 아니며 중복 사건을 새 사례로 하나 더 세지 않는다. [1]

원시 시각의 기대 ID

자료 담당자는 Delta 로그 통계의 단위·절삭 정책과 원시 timestamp를 보존한다. 정밀한 필터의 기대 ID를 파일 값에서 정하고 scan 결과와 대조하여 누락된 경로를 보류한다. 원시 timestamp 정밀도를 잃지 않은 독립 기준과 Delta snapshot을 고정하고 누락을 명시 missing으로 표현한다. [1, 3]

123456과 123400의 비교

설명용 두 행의 시각은 .100000과 .123456이며 조건은 .123400보다 큼이다. 원시 비교에서 id=2만 맞으므로 기대 ID는 2다. missing은 다른 결과다. 실제 결과에 id=2가 있으면 독립 기대 2와 같아 통과한다. missing이면 실패한다. 다른 행의 추가나 중복은 별도 검사로 남긴다. [1, 3]

행 존재 대사의 한계

Truthound Python SDK 3.3.2의 ColumnPairValidator는 운영자가 원시값 필터에서 만든 expected_row_id와 실제 결과를 정규화한 actual_row_id를 비교한다. 파일 통계 해석과 실제 읽기는 외부에서 수행한다. Core는 준비한 ID 대사를 수행하며 파일 pruning이나 timestamp 통계 해석을 고치지 않는다. 한 ID 통과는 전체 결과 중복·값을 입증하지 않는다. [1, 2, 3]

pruning 대안의 비용

검증한 비pruning 읽기 경로 또는 보수적 통계를 사용하는 경로를 비용과 함께 비교한다. 같은 연산·자료형·실행 엔진에서 query_id, expected_row_id, actual_row_id 표의 계약을 이미 회귀 시험하면 중복 대사의 이점은 작다. [1, 3]

적용 조건

원시 timestamp 정밀도를 잃지 않은 독립 기준과 Delta snapshot을 고정하고 누락을 명시 missing으로 표현한다.

대안

검증한 비pruning 읽기 경로 또는 보수적 통계를 사용하는 경로를 비용과 함께 비교한다.

한계

  • Core는 준비한 ID 대사를 수행하며 파일 pruning이나 timestamp 통계 해석을 고치지 않는다. 한 ID 통과는 전체 결과 중복·값을 입증하지 않는다.

근거

사건 확인일
대상 확인일
수정일