운영 지표의 집계, 표본, 부작용

목표

서비스 목표와 지표 정의

유입, 재이용, 핵심 행동, 성과를 서비스에 맞는 지표로 정리합니다.

주문, 문의, 자료 등록 등 핵심 행동의 완료 조건과 기간, 대상을 정의합니다.

집계

집계 확인과 원인 조사

지표 변화는 원인 조사의 시작입니다. 집계 문제와 실제 이용 변화를 구분합니다.

1. 집계 확인정의, 분모, 누락, 중복, 기록 변경을 확인합니다.
2. 원인 후보유입, 환경, 업무, 변경, 오류의 영향을 조사합니다.
3. 경험 조사필요한 사용자 의견과 실제 과정을 확인합니다.
4. 조치와 검증근거, 예상 효과, 비용, 위험과 평가 방법을 정합니다.

표본

변동, 비교 기간, 표본의 검토

월화수목금토일

요일, 계절, 유입 구성, 대형 거래와 표본 규모를 확인합니다.

비교 기간과 분모를 맞추고 필요한 자료가 쌓였는지 확인합니다. 모든 변화에 같은 관찰 기간을 적용하지 않습니다.

분포

평균, 분포, 집단별 결과

평균과 함께 분포, 중앙값, 큰 값의 영향을 확인합니다.

신규, 기존 사용자와 유입, 기기, 업무 유형을 나누되 작은 표본의 한계를 고려합니다.

부작용

목표 성과와 부작용 지표

목표 지표가 실제 가치와 어긋나게 개선될 가능성을 확인합니다.

매출, 시간, 완료, 품질 등 목적에 맞는 성과와 부작용 지표를 함께 둡니다.

순위

개선 후보의 우선순위

개선 후보의 영향, 필수성, 비용, 근거, 위험을 비교합니다.

성과

이용 증가와 최종 성과의 차이

유입과 이용이 늘어도 최종 성과가 다르게 움직일 수 있습니다.

거래 구성, 가격, 취소, 운영 비용과 이용자별 결과를 확인합니다.

고객 획득 비용, 거래와 재이용의 가치, 지원 비용, 변동 비용을 함께 검토합니다. 단기 매출만으로 수익성을 확정하지 않습니다.

이력

변경 이력과 비교 조건

지표와 함께 변경 이력을 기록합니다.

화면, 가격, 광고, 안내, 장애, 집계 변경의 날짜와 대상을 남깁니다. 시점이 겹친다는 사실만으로 인과관계를 확정하지 않습니다.

검증

변경의 효과 검증

여러 변경이 겹치면 원인별 영향을 구분하기 어려워집니다.

검증 목적에 맞게 변경을 분리하거나 통제된 비교를 설계합니다. 서버 변경도 화면 반응과 전환에 영향을 줄 수 있습니다.

사전에 정할 기준평가 지표기간표본중단 기준복구 기준

기록

필요한 행동 기록의 설계

기록이 부족하면 필요한 행동과 완료부터 측정할 범위를 정합니다.

보고 싶은 질문을 집계 대상, 기간, 분모, 완료 정의로 구체화합니다.

정보 처리 범위필요한 행동과 보관 기간, 접근 권한을 정합니다. 이름, 연락처 등 불필요한 개인정보 수집과 외부 전송을 줄이고 적법한 처리 조건을 확인합니다.

검토

정기 검토와 조치 기록

검토 주기와 담당자를 정하고 필요한 자료를 준비합니다.

변화, 원인 후보, 확인 결과와 다음 조치, 담당, 기한을 기록합니다.

업무, 개발, 운영 담당자가 함께 검토할 수 있습니다. 유지보수 계약에 포함할 범위도 합의합니다.

보고

기관과 기업의 보고, 개선 자료

기관과 기업은 보고와 개선의 목적을 구분하되 같은 사실과 정의를 사용합니다.

불리한 결과도 누락, 왜곡하지 않고 원인과 조치 계획을 기록합니다. 접근 권한과 개인정보 보호, 평가에 잘못 쓰이지 않도록 관리 기준을 정합니다.