Styxis
Company
Knowledge

pandas 병렬 CSV converter: 스레드 종속 조회와 결과 재현성

변환 결과의 장기 재현에는 파일뿐 아니라 converter가 참조한 조회표와 실행 조건도 필요하다.

pandas 병렬 CSV converter: 스레드 종속 조회와 결과 재현성

CSV converter가 외부 조회 상태나 연결을 읽는다면 변환 결과는 원시 셀만으로 결정되지 않는다. 병렬 실행은 조회 시점과 연결의 스레드 소유권이라는 두 전제를 동시에 드러낼 수 있다. 같은 입력의 결과를 재현하려면 값 대사와 실행 자원의 사용 조건을 따로 다루어야 한다. [1, 2, 3]

공개 원문이 보여 준 범위

공식 pandas nightly에서 상태 있는 converter의 결과가 스레드 수에 따라 달라지고, 메인 스레드의 SQLite 연결을 쓰는 converter는 병렬 경로에서 오류를 냈다는 보고다. 작성자는 안정판에 아직 포함되지 않은 경로라고 명시했다. [1]

입력과 출력에서 확인할 관계

외부 상태를 읽는 부분을 고정된 조회 스냅샷으로 분리한 뒤 입력 토큰마다 기대 코드와 실제 코드를 비교한다. input_token과 lookup_revision을 결과에 연결하면 다른 담당자도 어떤 조회 상태가 사용됐는지 확인할 수 있다. 특정 스레드에 종속된 연결을 공유하는 병렬 경로는 이 대사와 별개로 실행 계층에서 검증해야 한다. [1, 3]

승인 기준과 실패 사례

설명용 조회표에서 A의 승인 코드는 GOLD이다. 같은 revision을 사용해 GOLD가 나왔다면 대응 조건을 충족하지만, 실행 도중 갱신된 조회에서 SILVER를 읽었다면 동일한 기준으로 만든 결과가 아니다. 이 코드는 설명용이며 원문의 SQLite 오류가 실제로 해당 값을 만들었다는 뜻은 아니다. 값 대사와 연결의 스레드 소유권 문제를 분리해야 검사 범위를 과장하지 않는다. [1, 3]

Truthound를 연결하는 검사 경계

Truthound Core 3.3.2의 ColumnPairValidator는 고정 lookup_revision에서 준비한 expected_code와 transformed_code의 대응을 검사할 수 있다. 같은 입력이라도 조회 revision이 다르면 먼저 비교 대상을 나눠야 한다. 스레드 소유권 오류를 해결하는 부분은 converter와 실행 계층에 남는다. [1, 2, 3]

다른 선택이 필요한 조건

Truthound가 스레드 안전성을 보장하거나 SQLite 연결을 다른 스레드에서 사용할 수 있게 하지는 않는다. converter를 순수 함수로 만들거나 직렬 실행과 고정 조회 스냅샷을 사용한다. converter가 상태 없는 결정적 함수라면 이 보고의 SQLite·외부상태 위험은 직접 적용되지 않는다. [1, 3]

적용 조건

input_token, lookup_revision, transformed_code, expected_code 기록을 원시 입력과 승인 기준에서 각각 준비하고 행 식별자를 유지한다.

대안

converter를 순수 함수로 만들거나 직렬 실행과 고정 조회 스냅샷을 사용한다.

한계

  • Truthound가 스레드 안전성을 보장하거나 SQLite 연결을 다른 스레드에서 사용할 수 있게 하지는 않는다.

근거

사건 확인일
대상 확인일
수정일