Styxis
Company
Knowledge

pandas 중첩 HTML 표 읽기: 머리글이 관측 행으로 들어오는 경우

DOM의 머리글과 본문 경계를 수집 계약에 남겨야 누적 수집량 증가를 실제 관측 증가로 오해하지 않는다.

pandas 중첩 HTML 표 읽기: 머리글이 관측 행으로 들어오는 경우

웹 표에서 숫자 행이 잘 읽혔어도 중첩된 머리글이 함께 들어오면 관측 건수와 값의 종류가 달라진다. 이때 제목과 같은 문자열을 일괄 삭제하면 정상 데이터까지 잃을 수 있다. 선택한 표 안에서 각 행이 맡았던 역할을 보존해야 다시 수집할 범위를 결정할 수 있다. [1, 2, 3]

공개 원문이 보여 준 범위

중첩 HTML 표를 bs4 또는 html5lib 경로로 읽는 예시에서 A·B 머리글이 데이터 행으로 한 번 더 들어갔다는 보고다. 원문이 제시한 기대 출력에는 수치 행만 남는다. [1]

입력과 출력에서 확인할 관계

수집기는 선택한 표 ID와 tbody의 원본 행 목록을 남긴다. 집계 담당자는 머리글로 의심되는 행을 원래 DOM 위치와 비교하여 다시 읽어야 할 범위를 정한다. table_id, dom_row_role, parsed_row_role을 같은 원본 행에 연결하면 값 필터링에 의존하지 않고 실제 유입 경로를 확인할 수 있다. [1, 3]

승인 기준과 실패 사례

설명용 표에는 머리글과 본문 행이 있으며 관측값으로 허용한 역할은 body이다. header 역할의 행은 숫자처럼 보이는 값이 있어도 관측으로 넘기지 않는다. 반대로 정상 데이터가 제목과 같은 문자열을 가질 수도 있으므로 텍스트가 같다는 이유만으로 삭제하지 않는다. 승인 근거는 문자열 모양이 아니라 선택한 표 안에서의 원래 행 역할이다. [1, 3]

Truthound를 연결하는 검사 경계

Truthound Core 3.3.2의 InSetValidator는 DOM에서 따로 추출한 행 역할이 허용한 body 집합에 속하는지 검사하는 데 사용할 수 있다. HTML 구조를 이해하거나 표를 선택하는 일은 수집기의 책임이다. 따라서 역할 추출이 틀렸다면 검사가 통과해도 머리글 유입을 놓칠 수 있다. [1, 2, 3]

다른 선택이 필요한 조건

제목과 같은 데이터값을 문자열만 보고 삭제하면 정상 행도 잃을 수 있다. 표 ID를 명시한 다른 parser 결과와 DOM 기반 추출을 교차 확인한다. 실제 원본이 데이터 행에 같은 문자열을 포함한다면 값 일치만으로 헤더 오염을 판정할 수 없다. [1, 3]

적용 조건

table_id, dom_row_role, parsed_row_role을 보존한 행 계보표를 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.

대안

표 ID를 명시한 다른 parser 결과와 DOM 기반 추출을 교차 확인한다.

한계

  • 제목과 같은 데이터값을 문자열만 보고 삭제하면 정상 행도 잃을 수 있다.

근거

사건 확인일
대상 확인일
수정일