4.6 KiB
4.6 KiB
Metrics, Experiments, And Release Gates
목적
메신저는 겉으로 보기엔 단순해 보여도 실제 품질은 작은 지표들의 조합에서 드러난다.
이 문서는 KoTalk의 UX 향상 목표를 측정 가능한 기준으로 바꾸고, 릴리즈 여부를 감으로 결정하지 않도록 하기 위한 운영 문서다.
핵심 철학
- 숫자는 방향을 잡기 위한 도구이지, 사용자 경험을 대신하지 않는다.
- 하지만 지표 없는 UX 논의는 쉽게 자기합리화가 된다.
- 따라서
정량 지표,정성 리뷰,실사용 체크리스트를 함께 본다.
최상위 제품 지표
1. 시작 속도
- 첫 방문에서 첫 메시지 전송까지 걸린 시간
- 가입 시작에서 대화방 진입까지 걸린 시간
- 첫 메시지 전송 성공률
2. 복귀 효율
- 재방문 시 마지막 대화 복원 성공률
- 읽지 않은 항목 정리 완료까지 걸린 시간
- 알림 클릭 후 정확한 메시지 위치 도달률
3. 신뢰 지표
- 세션 오류 노출률
- 전송 실패 노출률
- 초안 손실률
- 사용자 관점
불안정하다평가 비율
4. 업무 효율 지표
- 파일/링크 재발견 성공률
- 멘션/요청 응답 시간
- 안 읽은 허브 정리 완료 시간
- 다중 대화 처리 중 창 전환 횟수
5. 친근한 소통 지표
- 사진/반응 이용률
- 읽고 바로 답장 비율
편하다,부담 없다정성 응답 비율
채널별 핵심 KPI
Windows
- 앱 시작 후 대화 목록 표시 시간
- 대화 전환 시간
- 팝아웃 사용률
- 전역 검색 사용률
- 키보드 기반 액션 비중
Mobile Web
- 홈 또는 링크 진입 후 가입 완료율
- 세션 유지율
- 브라우저 재진입 후 복귀 성공률
- 작은 화면 오버플로 발생률
- 브라우저 오류/401 노출률
Android
- 설치 후 첫 푸시 허용률
- 백그라운드 복귀 성공률
- 첨부 업로드 성공률
- 푸시 탭 후 대화 진입 시간
정성 지표
- 첫인상 한 줄
- 메신저답다고 느꼈는지 여부
- 업무에 쓸 수 있겠다는 확신
- 친한 대화에도 어색하지 않은지 여부
- 다시 열고 싶지 않은 이유
실험 체계
실험 단위
- 온보딩 구조
- 목록 밀도
- 검색 진입 방식
- 드래프트 복원 표현
- 알림 요약 문구
- 파일/링크 탭 위치
실험 원칙
- 한 번에 한 개의 사용자 인지 단위만 바꾼다.
- 모바일 웹에서 먼저 가볍게 검증하고, 효과가 명확하면 Android/Windows에 반영한다.
- 실험은 수치가 좋아도 신뢰를 깎으면 폐기한다.
릴리즈 게이트
Gate 0. 개발 브랜치 내부
- 빌드 성공
- 핵심 시나리오 수동 검증
- 문서/스크린샷 갱신
Gate 1. 알파 배포 가능
- 가입 -> 대화 진입 -> 전송 -> 재진입 기본 루프 성공
- 치명 세션 오류가 전면 노출되지 않음
- README 상태 표가 실제 상태와 일치
- 라이브 링크와 다운로드 링크가 깨지지 않음
Gate 2. 공개 홍보 가능
- 모바일 웹 첫인상 3.5 이상
- 안정감 3.5 이상
- 업무 적합성 3.5 이상
- 사용자 리뷰 5건 이상에서 치명 불만이 반복되지 않음
- 릴리즈 노트와 스크린샷이 최신 상태
Gate 3. 대체재 메시지 가능
- 업무 효율 관련 핵심 지표가 기준 메신저 대비 우위 또는 동급
- 세션 복구와 드래프트 보존이 안정적으로 동작
- 검색/파일/알림에서 분명한 체감 우위 사례 존재
- 적어도 한 채널은 일상 주사용에 견딜 정도의 완성도 확보
현재 시점 판정
현재 산출물은 Gate 1 일부 충족, Gate 2 미충족으로 본다.
주요 사유:
- 모바일 웹 라이브에서 레이아웃 깨짐과
401노출이 관찰됨 - 검색/재발견 우위가 아직 없음
- 공개 다운로드 표면과 원격 Releases 체계가 아직 사용자 친화적으로 완결되지 않음
경고 지표
- 세션 오류가 한 번이라도 사용자 화면에 직접 보이는 비율
- 다운로드 링크 클릭 후 실패 비율
- 모바일 웹에서 첫 60초 이탈률
- 초안 작성 중 앱 이탈 후 복귀 실패율
- 레이아웃 깨짐 제보 수
주간 리뷰 포맷
- 지난주 개선 목표
- 실제 지표
- 사용자가 즉시 체감할 개선
- 여전히 남아 있는 치명 리스크
- 다음 주 우선순위
완료 기준
- 릴리즈 판단이
좋아 보인다수준이 아니라현재 사용자에게 꺼내도 되는가수준으로 엄격해져야 한다. - 수치가 문서를 장식하는 것이 아니라 실제 우선순위를 바꾸는 데 쓰여야 한다.