157 lines
4.6 KiB
Markdown
157 lines
4.6 KiB
Markdown
|
# Metrics, Experiments, And Release Gates
|
||
|
|
|
||
|
|
## 목적
|
||
|
|
|
||
|
|
메신저는 겉으로 보기엔 단순해 보여도 실제 품질은 작은 지표들의 조합에서 드러난다.
|
||
|
|
이 문서는 KoTalk의 UX 향상 목표를 측정 가능한 기준으로 바꾸고, 릴리즈 여부를 감으로 결정하지 않도록 하기 위한 운영 문서다.
|
||
|
|
|
||
|
|
## 핵심 철학
|
||
|
|
|
||
|
|
- 숫자는 방향을 잡기 위한 도구이지, 사용자 경험을 대신하지 않는다.
|
||
|
|
- 하지만 지표 없는 UX 논의는 쉽게 자기합리화가 된다.
|
||
|
|
- 따라서 `정량 지표`, `정성 리뷰`, `실사용 체크리스트`를 함께 본다.
|
||
|
|
|
||
|
|
## 최상위 제품 지표
|
||
|
|
|
||
|
|
### 1. 시작 속도
|
||
|
|
|
||
|
|
- 첫 방문에서 첫 메시지 전송까지 걸린 시간
|
||
|
|
- 가입 시작에서 대화방 진입까지 걸린 시간
|
||
|
|
- 첫 메시지 전송 성공률
|
||
|
|
|
||
|
|
### 2. 복귀 효율
|
||
|
|
|
||
|
|
- 재방문 시 마지막 대화 복원 성공률
|
||
|
|
- 읽지 않은 항목 정리 완료까지 걸린 시간
|
||
|
|
- 알림 클릭 후 정확한 메시지 위치 도달률
|
||
|
|
|
||
|
|
### 3. 신뢰 지표
|
||
|
|
|
||
|
|
- 세션 오류 노출률
|
||
|
|
- 전송 실패 노출률
|
||
|
|
- 초안 손실률
|
||
|
|
- 사용자 관점 `불안정하다` 평가 비율
|
||
|
|
|
||
|
|
### 4. 업무 효율 지표
|
||
|
|
|
||
|
|
- 파일/링크 재발견 성공률
|
||
|
|
- 멘션/요청 응답 시간
|
||
|
|
- 안 읽은 허브 정리 완료 시간
|
||
|
|
- 다중 대화 처리 중 창 전환 횟수
|
||
|
|
|
||
|
|
### 5. 친근한 소통 지표
|
||
|
|
|
||
|
|
- 사진/반응 이용률
|
||
|
|
- 읽고 바로 답장 비율
|
||
|
|
- `편하다`, `부담 없다` 정성 응답 비율
|
||
|
|
|
||
|
|
## 채널별 핵심 KPI
|
||
|
|
|
||
|
|
## Windows
|
||
|
|
|
||
|
|
- 앱 시작 후 대화 목록 표시 시간
|
||
|
|
- 대화 전환 시간
|
||
|
|
- 팝아웃 사용률
|
||
|
|
- 전역 검색 사용률
|
||
|
|
- 키보드 기반 액션 비중
|
||
|
|
|
||
|
|
## Mobile Web
|
||
|
|
|
||
|
|
- 홈 또는 링크 진입 후 가입 완료율
|
||
|
|
- 세션 유지율
|
||
|
|
- 브라우저 재진입 후 복귀 성공률
|
||
|
|
- 작은 화면 오버플로 발생률
|
||
|
|
- 브라우저 오류/401 노출률
|
||
|
|
|
||
|
|
## Android
|
||
|
|
|
||
|
|
- 설치 후 첫 푸시 허용률
|
||
|
|
- 백그라운드 복귀 성공률
|
||
|
|
- 첨부 업로드 성공률
|
||
|
|
- 푸시 탭 후 대화 진입 시간
|
||
|
|
|
||
|
|
## 정성 지표
|
||
|
|
|
||
|
|
- 첫인상 한 줄
|
||
|
|
- 메신저답다고 느꼈는지 여부
|
||
|
|
- 업무에 쓸 수 있겠다는 확신
|
||
|
|
- 친한 대화에도 어색하지 않은지 여부
|
||
|
|
- 다시 열고 싶지 않은 이유
|
||
|
|
|
||
|
|
## 실험 체계
|
||
|
|
|
||
|
|
### 실험 단위
|
||
|
|
|
||
|
|
- 온보딩 구조
|
||
|
|
- 목록 밀도
|
||
|
|
- 검색 진입 방식
|
||
|
|
- 드래프트 복원 표현
|
||
|
|
- 알림 요약 문구
|
||
|
|
- 파일/링크 탭 위치
|
||
|
|
|
||
|
|
### 실험 원칙
|
||
|
|
|
||
|
|
- 한 번에 한 개의 사용자 인지 단위만 바꾼다.
|
||
|
|
- 모바일 웹에서 먼저 가볍게 검증하고, 효과가 명확하면 Android/Windows에 반영한다.
|
||
|
|
- 실험은 수치가 좋아도 신뢰를 깎으면 폐기한다.
|
||
|
|
|
||
|
|
## 릴리즈 게이트
|
||
|
|
|
||
|
|
## Gate 0. 개발 브랜치 내부
|
||
|
|
|
||
|
|
- 빌드 성공
|
||
|
|
- 핵심 시나리오 수동 검증
|
||
|
|
- 문서/스크린샷 갱신
|
||
|
|
|
||
|
|
## Gate 1. 알파 배포 가능
|
||
|
|
|
||
|
|
- 가입 -> 대화 진입 -> 전송 -> 재진입 기본 루프 성공
|
||
|
|
- 치명 세션 오류가 전면 노출되지 않음
|
||
|
|
- README 상태 표가 실제 상태와 일치
|
||
|
|
- 라이브 링크와 다운로드 링크가 깨지지 않음
|
||
|
|
|
||
|
|
## Gate 2. 공개 홍보 가능
|
||
|
|
|
||
|
|
- 모바일 웹 첫인상 3.5 이상
|
||
|
|
- 안정감 3.5 이상
|
||
|
|
- 업무 적합성 3.5 이상
|
||
|
|
- 사용자 리뷰 5건 이상에서 치명 불만이 반복되지 않음
|
||
|
|
- 릴리즈 노트와 스크린샷이 최신 상태
|
||
|
|
|
||
|
|
## Gate 3. 대체재 메시지 가능
|
||
|
|
|
||
|
|
- 업무 효율 관련 핵심 지표가 기준 메신저 대비 우위 또는 동급
|
||
|
|
- 세션 복구와 드래프트 보존이 안정적으로 동작
|
||
|
|
- 검색/파일/알림에서 분명한 체감 우위 사례 존재
|
||
|
|
- 적어도 한 채널은 일상 주사용에 견딜 정도의 완성도 확보
|
||
|
|
|
||
|
|
## 현재 시점 판정
|
||
|
|
|
||
|
|
현재 산출물은 `Gate 1 일부 충족, Gate 2 미충족`으로 본다.
|
||
|
|
|
||
|
|
주요 사유:
|
||
|
|
|
||
|
|
- 모바일 웹 라이브에서 레이아웃 깨짐과 `401` 노출이 관찰됨
|
||
|
|
- 검색/재발견 우위가 아직 없음
|
||
|
|
- 공개 다운로드 표면과 원격 Releases 체계가 아직 사용자 친화적으로 완결되지 않음
|
||
|
|
|
||
|
|
## 경고 지표
|
||
|
|
|
||
|
|
- 세션 오류가 한 번이라도 사용자 화면에 직접 보이는 비율
|
||
|
|
- 다운로드 링크 클릭 후 실패 비율
|
||
|
|
- 모바일 웹에서 첫 60초 이탈률
|
||
|
|
- 초안 작성 중 앱 이탈 후 복귀 실패율
|
||
|
|
- 레이아웃 깨짐 제보 수
|
||
|
|
|
||
|
|
## 주간 리뷰 포맷
|
||
|
|
|
||
|
|
- 지난주 개선 목표
|
||
|
|
- 실제 지표
|
||
|
|
- 사용자가 즉시 체감할 개선
|
||
|
|
- 여전히 남아 있는 치명 리스크
|
||
|
|
- 다음 주 우선순위
|
||
|
|
|
||
|
|
## 완료 기준
|
||
|
|
|
||
|
|
- 릴리즈 판단이 `좋아 보인다` 수준이 아니라 `현재 사용자에게 꺼내도 되는가` 수준으로 엄격해져야 한다.
|
||
|
|
- 수치가 문서를 장식하는 것이 아니라 실제 우선순위를 바꾸는 데 쓰여야 한다.
|