Styxis
Company
Knowledge

Dask merge_asof 뒤 drop이 KeyError를 낸다면: 중간 의존 열 보존

최종 출력에서 필요 없는 열도 조인 실행이 끝날 때까지는 남아 있어야 할 수 있다.

Dask merge_asof 뒤 drop이 KeyError를 낸다면: 중간 의존 열 보존

최종 표를 간결하게 만들기 위해 조인 키를 지우는 것은 흔한 후처리다. 그러나 지우는 연산을 조인과 같은 지연 실행 그래프에 넣으면 실행 순서가 기대와 달라질 수 있다. 출력에 남길 열과 중간 계산에 필요한 열을 구별해야 작은 정리 작업이 조인 실패로 번지는 일을 진단할 수 있다. [1, 2, 3]

보고의 범위와 전제

Dask 공개 보고는 merge_asof 뒤 오른쪽 grouping key를 drop하면 키가 조인 전에 제거되어 KeyError가 발생한다고 설명한다. drop 전에 계산한 대조에서는 대응값이 나온다고 제시한다. 조기 제거는 보고의 진단이며 이 글에서 별도로 최적화 경로를 실행해 확인한 결과는 아니다. [1]

입력에서 확인할 관계

먼저 조인만 실행한 결과를 보관하고, 동일 입력에서 조인과 최종 투영을 묶은 결과를 비교한다. 왼쪽 행 식별자와 요청 그룹, 매칭 그룹, 단계 완료 상태를 함께 남기면 열 삭제가 어느 단계에 영향을 주었는지 좁힐 수 있다. 중간 결과를 물질화한 뒤 열을 삭제하는 경로도 값 보존과 성능 비용을 확인하는 대조로 사용할 수 있다. [1, 3]

승인 기준을 정하는 작은 사례

설명용 계약에서는 key_right를 조인에 사용한 다음 최종 표에서만 제거한다. 투영을 붙인 실행도 completed 상태로 끝나야 하며, key_error는 출력 열 수를 줄이려던 요청을 충족하지 못한 결과다. 완료 상태가 같더라도 시간과 그룹의 실제 매칭이 옳은지는 별도 항목으로 남긴다. [1, 3]

Truthound 검사에 넘길 경계

Truthound Core의 ColumnPairValidator는 운영자가 준비한 기대 완료 상태와 실제 단계 상태의 대응을 검사하는 구성요소로 사용할 수 있다. 이 검사는 asof의 시간 선택이나 그룹 매칭 정확성을 보증하지 않으며 조기 투영을 수정하지도 않는다. 상태 대사와 함께 실제 매칭 결과를 확인해야 성공이라는 상태값만으로 잘못된 조인을 승인하지 않는다. [1, 2, 3]

적용 조건

같은 입력의 조인 단독 실행과 최종 투영 실행을 연결하고 기대 상태와 실제 완료 상태를 명시적으로 준비한다.

대안

필요한 중간 결과를 물질화한 뒤 투영하는 대조를 쓰되 실제 성능과 값 보존을 재확인한다.

한계

  • 완료 상태 검사는 asof 시간·그룹 대응값의 정확성을 대신하지 않는다.

근거

사건 확인일
대상 확인일
수정일