Doris rowset ID의 대문자 hex: 파싱 성공보다 충돌 여부를 확인하자
비어 있는 rowset에서 발견한 식별자 오류를 데이터 유실로 과장하지 않으면서도 ID 계약은 검증할 수 있다.
식별자의 일대일 대응
식별자 파싱은 출력 형식뿐 아니라 일대일 대응과 round-trip을 검사해야 한다. Truthound의 유일성 검사는 서로 다른 원본 ID가 파싱 뒤 같은 값으로 모이는지를 찾는 데 연결할 수 있다. 원본 문자열을 버리면 대문자 변환이 단순 표기 변경인지 충돌인지 구분하기 어렵다. [1, 2, 3]
빈 초기 rowset에 한정한 관측
Doris cloud 공개 보고는 FE가 초기 rowset ID를 대문자 hex로 만들지만 BE 파서는 소문자 규칙을 적용해 여러 ID가 같은 값으로 축약되는 사례를 설명한다. 보고자는 대상이 빈 초기 rowset이므로 데이터 영향은 관찰하지 않았다고 명시한다. 이 조건을 제거하고 실제 데이터 유실 사고처럼 소개해서는 안 된다. [1]
충돌과 의미 보존을 나누기
원본 ID와 파싱·재직렬화 ID의 짝을 보존하고 충돌 여부와 의미상 동일성을 따로 확인한다. 이 사례를 실제 데이터 유실 사고로 과장하지 않는다. 설명용으로 서로 다른 원본 ID 2개가 있다면 파싱된 고유 ID도 2개여야 한다. 1개로 줄면 충돌 조건을 위반하지만, 개수가 같아도 각 ID가 올바른 뜻인지 round-trip 대조가 필요하다. [1, 3]
Truthound가 발견해도 복구는 별도다
Truthound Core의 UniqueValidator를 파싱 ID 열에 적용할 수 있다. 하나의 원본 ID가 정당하게 반복되는 표라면 원본별 한 행으로 준비하거나 중복 의미를 먼저 정의해야 한다. 검사만으로 기존 데이터 영향이나 복구 성공을 주장할 수 없다. 보존한 원본을 승인된 파서로 다시 읽고 실제 참조 관계를 확인하는 절차가 뒤따라야 한다. [1, 2, 3]
적용 조건
같은 tablet_id의 original_rowset_id·parsed_rowset_id를 연결하고 원본 ID별 독립 행으로 충돌을 비교한다.
대안
원본 hex ID를 보존해 승인된 파서로 round-trip한 결과를 대조한다.
한계
원문의 관찰은 빈 초기 rowset ID 오류다. Truthound 검사만으로 데이터 유실이나 복구 성공을 주장할 수 없다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
