Truthound · 전체 콘텐츠 · 24/24
공개 사건을 근거로 데이터 계약·검사 입력·한계를 설명하는 Truthound Core 검증 실무 자료
480 편
Arrow·Parquet 왕복에서 R list 원소 이름까지 보존됐는지 확인하기
표의 속성이 남았어도 list 원소를 해석하는 이름은 빠질 수 있다.
Arrow ASCII 변환 뒤 buffer가 줄었다면 offset도 다시 확인해야 한다
array offset과 첫 value offset은 같은 정보가 아니다.
Arrow tdigest의 NaN 결과: 먼저 q 범위를 검사하기
유효하지 않은 분위수 요청과 정상 요청의 근사 오차는 서로 다른 문제다.
Arrow 반올림 검사: 격자 오차와 동률 정책을 나눠 보기
큰 자리 반올림에서는 올바른 배수인지와 올바른 동률 선택인지 모두 확인한다.
Parquet required child 검사: NULL 부모 아래의 물리 NULL 구분
부모가 존재하는 행에서만 자식 필수성 조건을 평가해야 한다.
Parquet StreamReader 전 스키마 검사: nested group을 먼저 분리하기
Parquet가 중첩 구조를 지원한다는 사실과 StreamReader가 그 구조를 처리한다는 사실은 다르다.
Parquet 빈 page 뒤의 데이터: 0행 반환을 그대로 믿지 않기
값이 없는 page와 읽을 데이터가 더 없는 column chunk는 다른 상태다.
Arrow에서 pandas로: list 내부 타입의 변환 지원 검사
top-level 변환 성공이 같은 타입의 list 원소까지 지원된다는 뜻은 아니다.
Arrow ORC에서 a.b 값이 NULL이 될 때: 필드 정체성 검증
점이 들어간 실제 열 이름과 중첩 경로를 서로 다른 필드로 보존한다.
Arrow Dataset.head(-1) 전에 요청 행 수 검증하기
pandas의 음수 head 의미를 다른 API에 그대로 가져오면 안 된다.
Arrow IPC 부분 읽기 검사: V4 union의 값 보존 확인
같은 파일의 전체 읽기와 부분 읽기를 비교하되 메타데이터 버전과 union 종류를 함께 고정한다.
Arrow·Emscripten 날짜 파싱: 정규화 전에 잘못된 날짜 찾기
파싱된 timestamp만 남기면 2월 30일 같은 원문의 오류가 사라질 수 있다.
Arrow duration 부호 반전 전 int64 최솟값 검사
checked 함수라는 이름만 믿지 말고 표현할 수 없는 양수 결과가 생기는 입력을 분리한다.
Arrow dense union slice 검사: offset 범위와 논리 창 정렬
ValidateFull 통과 뒤에도 다른 child 값을 읽을 수 있으므로 독립 index 대조를 남긴다.
PyArrow date32 변환: 정수 list와 NumPy 배열의 계약 맞추기
같은 숫자라도 컨테이너별 변환 경로와 날짜 단위를 함께 확인한다.
Arrow dictionary coalesce 실패: 값 타입만 비교하면 안 되는 이유
index 폭과 ordered flag까지 확인한 뒤 정규화 경로의 스키마를 검사한다.
Airbyte Postgres Xmin bookmark: 늦게 commit한 행을 건너뛰지 않는 경계
가장 큰 발급 transaction 번호와 아직 보이지 않는 오래된 transaction의 경계를 구분해야 한다.
Airbyte MariaDB CDC 재시작 실패: offset에 필요한 TableMap 문맥 확인하기
재개 위치는 증가하는 숫자 하나가 아니라 이벤트를 해석할 문맥을 다시 읽을 수 있는 경계다.
Airbyte MySQL 복합 키 snapshot: 첫 키 그룹의 누락을 검사하기
동시 partition의 첫 경계가 exclusive라면 작업 성공과 무관하게 최솟값 묶음이 빠질 수 있다.
Airbyte MySQL→ClickHouse 타입 오류: 정정된 CDC selectedFields 원인부터 확인하기
날짜 열 변환을 고치기 전에 CDC 시스템 필드와 전송 schema가 맞는지 확인해야 한다.
