Styxis
Company
Knowledge

Doris rowset ID의 대문자 hex: 파싱 성공보다 충돌 여부를 확인하자

비어 있는 rowset에서 발견한 식별자 오류를 데이터 유실로 과장하지 않으면서도 ID 계약은 검증할 수 있다.

식별자의 일대일 대응

식별자 파싱은 출력 형식뿐 아니라 일대일 대응과 round-trip을 검사해야 한다. Truthound의 유일성 검사는 서로 다른 원본 ID가 파싱 뒤 같은 값으로 모이는지를 찾는 데 연결할 수 있다. 원본 문자열을 버리면 대문자 변환이 단순 표기 변경인지 충돌인지 구분하기 어렵다. [1, 2, 3]

빈 초기 rowset에 한정한 관측

Doris cloud 공개 보고는 FE가 초기 rowset ID를 대문자 hex로 만들지만 BE 파서는 소문자 규칙을 적용해 여러 ID가 같은 값으로 축약되는 사례를 설명한다. 보고자는 대상이 빈 초기 rowset이므로 데이터 영향은 관찰하지 않았다고 명시한다. 이 조건을 제거하고 실제 데이터 유실 사고처럼 소개해서는 안 된다. [1]

충돌과 의미 보존을 나누기

원본 ID와 파싱·재직렬화 ID의 짝을 보존하고 충돌 여부와 의미상 동일성을 따로 확인한다. 이 사례를 실제 데이터 유실 사고로 과장하지 않는다. 설명용으로 서로 다른 원본 ID 2개가 있다면 파싱된 고유 ID도 2개여야 한다. 1개로 줄면 충돌 조건을 위반하지만, 개수가 같아도 각 ID가 올바른 뜻인지 round-trip 대조가 필요하다. [1, 3]

Truthound가 발견해도 복구는 별도다

Truthound Core의 UniqueValidator를 파싱 ID 열에 적용할 수 있다. 하나의 원본 ID가 정당하게 반복되는 표라면 원본별 한 행으로 준비하거나 중복 의미를 먼저 정의해야 한다. 검사만으로 기존 데이터 영향이나 복구 성공을 주장할 수 없다. 보존한 원본을 승인된 파서로 다시 읽고 실제 참조 관계를 확인하는 절차가 뒤따라야 한다. [1, 2, 3]

적용 조건

같은 tablet_id의 original_rowset_id·parsed_rowset_id를 연결하고 원본 ID별 독립 행으로 충돌을 비교한다.

대안

원본 hex ID를 보존해 승인된 파서로 round-trip한 결과를 대조한다.

한계

  • 원문의 관찰은 빈 초기 rowset ID 오류다. Truthound 검사만으로 데이터 유실이나 복구 성공을 주장할 수 없다.

근거

사건 확인일
대상 확인일
수정일