pandas CSV 헤더의 BOM: 보관 파일과 표준 열 이름을 대사하는 방법
원시 바이트와 정규화한 헤더를 함께 보관해야 다음 수집기에서 생긴 이름 차이를 원천 스키마 개정과 구별할 수 있다.
pandas CSV 헤더의 BOM: 보관 파일과 표준 열 이름을 대사하는 방법
보관 CSV의 첫 열만 새 스키마와 연결되지 않는다면 화면에 보이지 않는 문자부터 확인할 필요가 있다. 같은 헤더처럼 보여도 입력 계층이 BOM을 남겼는지에 따라 이름 매칭이 달라질 수 있다. 파일을 통째로 다시 명명하기보다 원본 바이트와 승인 이름을 연결해 차이가 생긴 경계를 좁힌다. [1, 2, 3]
공개 원문이 보여 준 범위
pandas 이슈는 같은 UTF-8 BOM 바이트를 read_csv로 읽으면 첫 열의 BOM이 제거되지만 TextIOWrapper로 읽으면 남는 차이를 보고했다. 이는 실제 값 손상 확정이 아니라 입력 계층별 헤더 해석 차이다. [1]
입력과 출력에서 확인할 관계
먼저 원본 헤더의 바이트와 코드포인트, 승인한 열 이름을 함께 보관한다. 과거 파일에서 첫 열만 매칭되지 않는다면 자료 전체의 이름을 바꾸기 전에 이 기록과 이름 변경 이력을 확인한다. source_encoding을 남겨 두면 같은 파일을 다른 입력 계층으로 읽었을 때 헤더가 달라진 지점을 추적할 수 있다. [1, 3]
승인 기준과 실패 사례
설명용 계약은 첫 위치의 BOM만 제거하고 Name을 보존한다. BOM+Name은 실제 제어문자를 설명하는 표기이며 파일에 들어 있는 문자 그대로의 데이터값은 아니다. 정규화 결과가 Name이면 이 계약을 충족하지만, 첫 BOM이 남은 헤더는 승인 이름과 일치하지 않는다. 원본 바이트가 있어야 수집 라이브러리가 바뀐 뒤에도 어느 해석이 적용됐는지 다시 확인할 수 있다. [1, 3]
Truthound를 연결하는 검사 경계
Truthound Core 3.3.2의 ColumnPairValidator를 붙일 곳은 원시 파일이 아니라 승인한 헤더와 정규화한 헤더의 대조표다. source_encoding과 원래 코드포인트를 남긴 채 두 문자열을 비교하면 이름이 달라진 경계를 좁힐 수 있다. null 쌍은 건너뛸 수 있으므로 헤더 존재 조건도 별도로 확인한다. [1, 2, 3]
다른 선택이 필요한 조건
모든 U+FEFF를 전역 삭제하거나 실제 값의 의미까지 고친다는 근거는 없다. 전처리에서 UTF-8-SIG로 명시적으로 해독한 뒤 원본을 별도 보관한다. 두 입력 경로가 이미 같은 헤더 정규화 정책을 공유하면 별도 불일치 게이트의 이점은 작다. [1, 3]
적용 조건
raw_header, canonical_header, source_encoding 열을 가진 헤더 계약표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.
대안
전처리에서 UTF-8-SIG로 명시적으로 해독한 뒤 원본을 별도 보관한다.
한계
모든 U+FEFF를 전역 삭제하거나 실제 값의 의미까지 고친다는 근거는 없다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
