Styxis
Company
Knowledge

BigQuery 거절 행의 TIMESTAMP: 실패 원장까지 읽을 수 있어야 복구한다

정상 쓰기와 거절 행 인계는 서로 다른 경로다. timestamp 문자열이 실제 failed-row consumer의 해석 계약까지 통과하는지 확인해야 한다.

오류 경로도 데이터 인계다

정상 쓰기와 거절 행 인계는 서로 다른 경로다. timestamp 문자열이 실제 failed-row consumer의 해석 계약까지 통과하는지 확인해야 한다. Truthound로 거절 원장을 점검하려 해도 그 원장으로 변환되기 전에 예외가 나면 확인할 자료가 빠진다. 따라서 오류 경로 자체의 왕복을 첫 인수 시험에 넣는다. [1, 2, 3]

생산자만 바꿔서는 부족한 이유

Beam #40110은 Storage Write API 거절 행의 TIMESTAMP 복원에서 space와 T가 함께 출력돼 failed-rows 변환도 실패하는 보고다. 2.72.0·2.73.0은 소스 확인이고 여러 다른 버전은 실행했다고 구분한다. 생산자 형식만 ISO로 바꾸면 다른 consumer 분기가 실패할 수 있다고 보고는 설명한다. producer 수정과 consumer 수정 및 테스트 기대값을 함께 평가해야 한다. [1]

거절을 의도한 대조군

의도적으로 거절될 합성 행을 보내 원본 timestamp·failed-row 표현·consumer 복원 결과를 대조하고, 거절 원장을 읽지 못한 배치는 완료 처리하지 않는다. SqlTypes.TIMESTAMP와 TypeName.DATETIME을 따로 식별하고 같은 키·거절 사유·원본 순간을 보존한다. 정상 writes 성공으로 failed-rows를 승인하지 않는다. [1, 3]

같은 순간을 되찾는 조건

설명용 거절 행 R의 시각을 2026-09-03T18:51:43.417Z로 정한다. 해당 consumer가 같은 순간을 복원하면 플래그 1이다. space와 T가 붙은 zone 없는 문자열로 예외가 나면 0으로 실패다. 복원 성공 1은 이 인계 조건을 충족하고 예외 0은 실패다. parser 성공 뒤에도 원본과 같은 순간인지 별도로 확인한다. [1, 3]

읽을 수 있는 실패 원장

Truthound Core Python SDK 3.3.2의 ColumnPairValidator로 required_failed_row_roundtrip_ok와 failed_row_roundtrip_ok를 relationship="=="로 비교한다. 거절과 복원 결과 플래그는 운영자가 준비하고, 확인되지 않은 실패 행은 0건 성공으로 바꾸지 않는다. SDK는 BigQuery 거절 원인이나 Java formatter를 고치지 않는다. [1, 2, 3]

분기별로 다시 승인하기

producer와 두 consumer를 함께 다룬 수정판을 시험하고 정상 쓰기와 거절 경로를 모두 대사한다. TIMESTAMP가 없는 schema나 다른 consumer는 다른 조건이다. 특정 문자열 하나를 모든 경로의 만능 수정으로 안내하지 않는다. [1, 3]

적용 조건

거절 행을 확실히 식별하고 SqlTypes.TIMESTAMP와 TypeName.DATETIME consumer 분기를 구분해 결과 플래그를 만든다.

대안

producer와 두 consumer 계약을 함께 고친 수정본을 시험하고 정상 쓰기·거절 경로를 모두 대사한다.

한계

  • Truthound는 BigQuery 거절 원인이나 Java formatter를 고치지 않는다. 한 consumer에서 parse된 형식이 다른 분기에도 맞는다고 단정하지 않는다.

근거

사건 확인일
대상 확인일
수정일