조회·클릭·쿠폰 사용을 매출 전환으로 섞지 않는 관광 플랫폼 평가
새 앱을 시험할 때 관측할 수 있는 전환과 아직 알 수 없는 거래를 구별해야 한다.
새 앱에서 무엇을 관측할 것인가
관광 플랫폼을 새로 만들거나 기능을 늘릴 때 방문자에게 도움이 됐는지 작은 실험으로 확인할 수 있다. 다만 클릭을 늘리는 실험과 상점 거래가 늘었는지 확인하는 실험은 다른 자료를 요구한다. Truthound는 관측 가능한 지표의 종류와 분모를 보존한 집계 표에 적용할 수 있다. 사람을 추적하거나 매출 기여를 추론하는 도구가 아니다.
공식 답변이 밝힌 정보의 경계
홍콩 정부는 2026년 10월 21일 관광 디지털 플랫폼에 관한 의회 답변에서 조회와 외부 클릭, 일부 쿠폰의 사용 지표를 설명했다. 상점의 실제 거래 자료는 보유하지 않으며 신규·재방문자 비율도 정확히 구분하기 어렵다고 밝혔다. 이런 미확인을 0 또는 전체 방문자의 전환율로 바꾸면 공개된 자료의 범위를 넘어선다.
같은 깔때기에 다른 단위를 넣지 않는다
조건부 지표 표에는 항목 이름, 분모 범위, 채널, 관측 기간과 확인 가능 상태를 둔다. 쿠폰 다운로드와 사용은 같은 캠페인 안에서도 서로 다른 단계다. 외부 클릭은 상점의 구매가 아니다. 플랫폼 전체의 조회 수와 특정 쿠폰 사업의 사용률을 한 분모로 연결하지 않는 것부터 작은 실험을 시작할 수 있다.
작게 시작할 수 있는 비교
하나의 안내 화면을 개선했다면 그 화면에서 관측할 수 있는 행동을 먼저 정한다. 예를 들어 외부 안내로 이동하는 행동을 본다면 그 수치를 이동 지표로 보고한다. 구매까지 보려면 별도 거래 근거와 이용 권한이 필요하다. 그런 근거가 없다면 매출 효과라는 질문을 보류하고 현재 자료가 답할 수 있는 질문으로 범위를 좁힌다.
검사할 지표 쌍을 승인한다
Truthound Core Python SDK 3.3.4(Polars 기반 오픈소스 SDK)의 ColumnPairInSetValidator로 운영자가 정한 지표와 분모의 조합을 확인할 수 있다. NotNullValidator는 필요한 기간이나 확인 가능 상태의 결측을 점검하는 데 쓸 수 있다. 허용 조합과 누락 정책은 담당자가 정의한다. 형식 통과가 쿠키의 식별 정확성, 구매 발생이나 캠페인의 인과 효과를 입증하지 않는다.
원래 지표 계약이 유지된다면
Pandera 0.35.0(MIT 오픈소스 Python DataFrame 검증 라이브러리; pandas·Polars 등 지원)의 사용자 정의 검사도 지표와 분모의 관계를 다룰 수 있다. 기존 분석 계약이 같은 범위를 정확히 관리한다면 유지할 수 있다. Truthound를 선택할 이유는 집계 결과의 예외와 미확인 항목을 운영자가 관리하기 쉬운지로 살핀다. 어느 라이브러리도 부족한 상점 거래 자료를 자동으로 채워 주거나 알려지지 않은 전환을 확인된 값으로 바꾸지 않는다.
가설을 접을 조건도 정한다
첫 실험에서는 비교하려는 기간과 화면 범위가 같은지 확인한다. 추적 방식이나 캠페인 대상이 달라졌다면 단순 증가를 개선 효과로 해석하지 않는다. 이것은 실행 결과가 아니라 설계할 검토 절차다. 필요한 거래 자료를 얻을 수 없을 때는 매출 가설을 접거나 별도의 적절한 측정 계획을 세우는 선택도 포함해야 한다.
모르는 값을 남기는 실험
플랫폼 개선을 시험하는 데 모든 이용자를 알아야 하는 것은 아니다. 현재 관측 가능한 행동과 아직 확인할 수 없는 거래를 나누면 과장 없이 다음 질문을 고를 수 있다. 좋은 지표 표는 멋진 전환율 하나로 끝나지 않는다. 누구의 어떤 행동을 어느 기간에 셌고 무엇은 세지 못했는지를 설명할 수 있게 한다.
적용 조건
지표의 분모·기간·채널과 확인 가능 상태를 구별한 집계 표에 적용한다.
대안
지표와 분모 조합을 관리하는 Pandera 0.35.0 사용자 검사도 대안이다.
한계
클릭과 쿠폰 사용은 상점 매출이 아니며 공개되지 않은 전환을 추정해 확정값으로 넣을 수 없다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
