# Metrics, Experiments, And Release Gates

## 목적

메신저는 겉으로 보기엔 단순해 보여도 실제 품질은 작은 지표들의 조합에서 드러난다.  
이 문서는 KoTalk의 UX 향상 목표를 측정 가능한 기준으로 바꾸고, 릴리즈 여부를 감으로 결정하지 않도록 하기 위한 운영 문서다.

## 핵심 철학

- 숫자는 방향을 잡기 위한 도구이지, 사용자 경험을 대신하지 않는다.
- 하지만 지표 없는 UX 논의는 쉽게 자기합리화가 된다.
- 따라서 `정량 지표`, `정성 리뷰`, `실사용 체크리스트`를 함께 본다.

## 최상위 제품 지표

### 1. 시작 속도

- 첫 방문에서 첫 메시지 전송까지 걸린 시간
- 가입 시작에서 대화방 진입까지 걸린 시간
- 첫 메시지 전송 성공률

### 2. 복귀 효율

- 재방문 시 마지막 대화 복원 성공률
- 읽지 않은 항목 정리 완료까지 걸린 시간
- 알림 클릭 후 정확한 메시지 위치 도달률

### 3. 신뢰 지표

- 세션 오류 노출률
- 전송 실패 노출률
- 초안 손실률
- 사용자 관점 `불안정하다` 평가 비율

### 4. 업무 효율 지표

- 파일/링크 재발견 성공률
- 멘션/요청 응답 시간
- 안 읽은 허브 정리 완료 시간
- 다중 대화 처리 중 창 전환 횟수

### 5. 친근한 소통 지표

- 사진/반응 이용률
- 읽고 바로 답장 비율
- `편하다`, `부담 없다` 정성 응답 비율

## 채널별 핵심 KPI

## Windows

- 앱 시작 후 대화 목록 표시 시간
- 대화 전환 시간
- 팝아웃 사용률
- 전역 검색 사용률
- 키보드 기반 액션 비중

## Mobile Web

- 홈 또는 링크 진입 후 가입 완료율
- 세션 유지율
- 브라우저 재진입 후 복귀 성공률
- 작은 화면 오버플로 발생률
- 브라우저 오류/401 노출률

## Android

- 설치 후 첫 푸시 허용률
- 백그라운드 복귀 성공률
- 첨부 업로드 성공률
- 푸시 탭 후 대화 진입 시간

## 정성 지표

- 첫인상 한 줄
- 메신저답다고 느꼈는지 여부
- 업무에 쓸 수 있겠다는 확신
- 친한 대화에도 어색하지 않은지 여부
- 다시 열고 싶지 않은 이유

## 실험 체계

### 실험 단위

- 온보딩 구조
- 목록 밀도
- 검색 진입 방식
- 드래프트 복원 표현
- 알림 요약 문구
- 파일/링크 탭 위치

### 실험 원칙

- 한 번에 한 개의 사용자 인지 단위만 바꾼다.
- 모바일 웹에서 먼저 가볍게 검증하고, 효과가 명확하면 Android/Windows에 반영한다.
- 실험은 수치가 좋아도 신뢰를 깎으면 폐기한다.

## 릴리즈 게이트

## Gate 0. 개발 브랜치 내부

- 빌드 성공
- 핵심 시나리오 수동 검증
- 문서/스크린샷 갱신

## Gate 1. 알파 배포 가능

- 가입 -> 대화 진입 -> 전송 -> 재진입 기본 루프 성공
- 치명 세션 오류가 전면 노출되지 않음
- README 상태 표가 실제 상태와 일치
- 라이브 링크와 다운로드 링크가 깨지지 않음

## Gate 2. 공개 홍보 가능

- 모바일 웹 첫인상 3.5 이상
- 안정감 3.5 이상
- 업무 적합성 3.5 이상
- 사용자 리뷰 5건 이상에서 치명 불만이 반복되지 않음
- 릴리즈 노트와 스크린샷이 최신 상태

## Gate 3. 대체재 메시지 가능

- 업무 효율 관련 핵심 지표가 기준 메신저 대비 우위 또는 동급
- 세션 복구와 드래프트 보존이 안정적으로 동작
- 검색/파일/알림에서 분명한 체감 우위 사례 존재
- 적어도 한 채널은 일상 주사용에 견딜 정도의 완성도 확보

## 현재 시점 판정

현재 산출물은 `Gate 1 일부 충족, Gate 2 미충족`으로 본다.

주요 사유:

- 모바일 웹 라이브에서 레이아웃 깨짐과 `401` 노출이 관찰됨
- 검색/재발견 우위가 아직 없음
- 공개 다운로드 표면과 원격 Releases 체계가 아직 사용자 친화적으로 완결되지 않음

## 경고 지표

- 세션 오류가 한 번이라도 사용자 화면에 직접 보이는 비율
- 다운로드 링크 클릭 후 실패 비율
- 모바일 웹에서 첫 60초 이탈률
- 초안 작성 중 앱 이탈 후 복귀 실패율
- 레이아웃 깨짐 제보 수

## 주간 리뷰 포맷

- 지난주 개선 목표
- 실제 지표
- 사용자가 즉시 체감할 개선
- 여전히 남아 있는 치명 리스크
- 다음 주 우선순위

## 완료 기준

- 릴리즈 판단이 `좋아 보인다` 수준이 아니라 `현재 사용자에게 꺼내도 되는가` 수준으로 엄격해져야 한다.
- 수치가 문서를 장식하는 것이 아니라 실제 우선순위를 바꾸는 데 쓰여야 한다.