Truthound · 수집과 파일 해석 · 4/4
CSV·JSON·열 지향 파일을 읽는 경계에서 손실을 찾습니다.
77 편
pandas json_normalize의 정수 키: max_level과 출력 경로의 차이
출력 열 이름을 표준화할 때 원천 키의 타입까지 덮어쓰면 역사 자료의 재처리 경로를 잃을 수 있다.
pandas Excel 날짜 인덱스: backend 변경과 to_period의 의미 보존
날짜의 의미와 컨테이너가 제공하는 연산을 구분하면 사용자가 멀쩡한 날짜를 재입력하는 부담을 피할 수 있다.
pandas 병렬 CSV converter: 스레드 종속 조회와 결과 재현성
변환 결과의 장기 재현에는 파일뿐 아니라 converter가 참조한 조회표와 실행 조건도 필요하다.
pandas Categorical 날짜의 JSON epoch: date_unit 계약 보존
열을 범주형으로 압축해도 외부 교환 단위가 바뀌어서는 안 되며 단위 계약은 값과 함께 검증해야 한다.
Rust OTLP JSON exemplar: 지표 값과 연결된 예제 값의 보존
지표 본체가 읽힌다는 사실과 exemplar의 wire 계약이 보존된다는 사실을 따로 시험해야 한다.
jq delpaths 혼합 인덱스: 삭제 전 스냅샷에서 대상 ID 확정하기
삭제 요청은 변경 중인 위치가 아니라 원본에서 해석한 대상 ID 집합으로 전달해야 한다.
Dask 문자열 compute 결과가 잘릴 때: 첫 블록의 dtype을 의심하는 대조 시험
선언한 문자열 폭이 충분해도 최종 결합 결과는 따로 확인해야 한다.
Dask partition 내부 groupby를 최종 결과로 쓰기 전 키 소유권 확인하기
같은 키가 여러 partition에 흩어지면 부분 집계 두 개를 완성된 결과로 전달할 수 있다.
Dask left merge 행 손실 진단: 128 경계의 shuffle bucket 확인
partition 규모를 늘리는 시험에는 bucket 번호의 표현 경계와 왼쪽 행 보존을 함께 넣어야 한다.
Dask NaN divisions를 조사할 때 정상 경계 키의 보존부터 확인하기
결측 키의 조인 의미와 정상 키가 사라지는 문제는 별도로 판단한다.
Dask map의 meta와 실제 dtype이 다를 때: 미매칭 키를 포함한 검사
lookup이 결측을 만들 수 있다면 meta 선언과 실제 계산 결과의 타입을 따로 확인해야 한다.
Dask left merge의 혼합 index: 미매칭 행에 오른쪽 ID를 만들지 않기
결과 index의 표시값을 업무 식별자로 쓰기 전에 어느 원천에서 왔는지 확인한다.
Dask isin의 문자열·정수 코드: 표시값이 같아도 선택 대상을 구별하기
mixed object 열의 필터는 원래 타입과 값의 조합으로 대조해야 한다.
Dask merge_asof 뒤 drop이 KeyError를 낸다면: 중간 의존 열 보존
최종 출력에서 필요 없는 열도 조인 실행이 끝날 때까지는 남아 있어야 할 수 있다.
Arrow ASCII 변환 뒤 buffer가 줄었다면 offset도 다시 확인해야 한다
array offset과 첫 value offset은 같은 정보가 아니다.
Parquet 빈 page 뒤의 데이터: 0행 반환을 그대로 믿지 않기
값이 없는 page와 읽을 데이터가 더 없는 column chunk는 다른 상태다.
Arrow Dataset.head(-1) 전에 요청 행 수 검증하기
pandas의 음수 head 의미를 다른 API에 그대로 가져오면 안 된다.
