공개: KoTalk 최신 기준선

문서/32-metrics-experiments-and-release-gates.md

@@ -0,0 +1,157 @@
+# Metrics, Experiments, And Release Gates
+
+## 목적
+
+메신저는 겉으로 보기엔 단순해 보여도 실제 품질은 작은 지표들의 조합에서 드러난다.  
+이 문서는 KoTalk의 UX 향상 목표를 측정 가능한 기준으로 바꾸고, 릴리즈 여부를 감으로 결정하지 않도록 하기 위한 운영 문서다.
+
+## 핵심 철학
+
+- 숫자는 방향을 잡기 위한 도구이지, 사용자 경험을 대신하지 않는다.
+- 하지만 지표 없는 UX 논의는 쉽게 자기합리화가 된다.
+- 따라서 `정량 지표`, `정성 리뷰`, `실사용 체크리스트`를 함께 본다.
+
+## 최상위 제품 지표
+
+### 1. 시작 속도
+
+- 첫 방문에서 첫 메시지 전송까지 걸린 시간
+- 가입 시작에서 대화방 진입까지 걸린 시간
+- 첫 메시지 전송 성공률
+
+### 2. 복귀 효율
+
+- 재방문 시 마지막 대화 복원 성공률
+- 읽지 않은 항목 정리 완료까지 걸린 시간
+- 알림 클릭 후 정확한 메시지 위치 도달률
+
+### 3. 신뢰 지표
+
+- 세션 오류 노출률
+- 전송 실패 노출률
+- 초안 손실률
+- 사용자 관점 `불안정하다` 평가 비율
+
+### 4. 업무 효율 지표
+
+- 파일/링크 재발견 성공률
+- 멘션/요청 응답 시간
+- 안 읽은 허브 정리 완료 시간
+- 다중 대화 처리 중 창 전환 횟수
+
+### 5. 친근한 소통 지표
+
+- 사진/반응 이용률
+- 읽고 바로 답장 비율
+- `편하다`, `부담 없다` 정성 응답 비율
+
+## 채널별 핵심 KPI
+
+## Windows
+
+- 앱 시작 후 대화 목록 표시 시간
+- 대화 전환 시간
+- 팝아웃 사용률
+- 전역 검색 사용률
+- 키보드 기반 액션 비중
+
+## Mobile Web
+
+- 홈 또는 링크 진입 후 가입 완료율
+- 세션 유지율
+- 브라우저 재진입 후 복귀 성공률
+- 작은 화면 오버플로 발생률
+- 브라우저 오류/401 노출률
+
+## Android
+
+- 설치 후 첫 푸시 허용률
+- 백그라운드 복귀 성공률
+- 첨부 업로드 성공률
+- 푸시 탭 후 대화 진입 시간
+
+## 정성 지표
+
+- 첫인상 한 줄
+- 메신저답다고 느꼈는지 여부
+- 업무에 쓸 수 있겠다는 확신
+- 친한 대화에도 어색하지 않은지 여부
+- 다시 열고 싶지 않은 이유
+
+## 실험 체계
+
+### 실험 단위
+
+- 온보딩 구조
+- 목록 밀도
+- 검색 진입 방식
+- 드래프트 복원 표현
+- 알림 요약 문구
+- 파일/링크 탭 위치
+
+### 실험 원칙
+
+- 한 번에 한 개의 사용자 인지 단위만 바꾼다.
+- 모바일 웹에서 먼저 가볍게 검증하고, 효과가 명확하면 Android/Windows에 반영한다.
+- 실험은 수치가 좋아도 신뢰를 깎으면 폐기한다.
+
+## 릴리즈 게이트
+
+## Gate 0. 개발 브랜치 내부
+
+- 빌드 성공
+- 핵심 시나리오 수동 검증
+- 문서/스크린샷 갱신
+
+## Gate 1. 알파 배포 가능
+
+- 가입 -> 대화 진입 -> 전송 -> 재진입 기본 루프 성공
+- 치명 세션 오류가 전면 노출되지 않음
+- README 상태 표가 실제 상태와 일치
+- 라이브 링크와 다운로드 링크가 깨지지 않음
+
+## Gate 2. 공개 홍보 가능
+
+- 모바일 웹 첫인상 3.5 이상
+- 안정감 3.5 이상
+- 업무 적합성 3.5 이상
+- 사용자 리뷰 5건 이상에서 치명 불만이 반복되지 않음
+- 릴리즈 노트와 스크린샷이 최신 상태
+
+## Gate 3. 대체재 메시지 가능
+
+- 업무 효율 관련 핵심 지표가 기준 메신저 대비 우위 또는 동급
+- 세션 복구와 드래프트 보존이 안정적으로 동작
+- 검색/파일/알림에서 분명한 체감 우위 사례 존재
+- 적어도 한 채널은 일상 주사용에 견딜 정도의 완성도 확보
+
+## 현재 시점 판정
+
+현재 산출물은 `Gate 1 일부 충족, Gate 2 미충족`으로 본다.
+
+주요 사유:
+
+- 모바일 웹 라이브에서 레이아웃 깨짐과 `401` 노출이 관찰됨
+- 검색/재발견 우위가 아직 없음
+- 공개 다운로드 표면과 원격 Releases 체계가 아직 사용자 친화적으로 완결되지 않음
+
+## 경고 지표
+
+- 세션 오류가 한 번이라도 사용자 화면에 직접 보이는 비율
+- 다운로드 링크 클릭 후 실패 비율
+- 모바일 웹에서 첫 60초 이탈률
+- 초안 작성 중 앱 이탈 후 복귀 실패율
+- 레이아웃 깨짐 제보 수
+
+## 주간 리뷰 포맷
+
+- 지난주 개선 목표
+- 실제 지표
+- 사용자가 즉시 체감할 개선
+- 여전히 남아 있는 치명 리스크
+- 다음 주 우선순위
+
+## 완료 기준
+
+- 릴리즈 판단이 `좋아 보인다` 수준이 아니라 `현재 사용자에게 꺼내도 되는가` 수준으로 엄격해져야 한다.
+- 수치가 문서를 장식하는 것이 아니라 실제 우선순위를 바꾸는 데 쓰여야 한다.