kotalk/문서/31-user-review-log-and-experience-scorecard.md

User Review Log And Experience Scorecard

목적

기획 문서는 내부 확신을 키우지만, 제품 품질을 올리는 것은 실제 사용자 시점의 평가다.
이 문서는 KoTalk의 현재 산출물을 사용자 관점에서 반복 점검하기 위한 리뷰 체계와 점수표를 정의한다.

실제 사용 여정별 상세 점검 기준과 앞으로 분리해야 할 QA 문서 주제는 63-user-journey-review-framework-and-qa-topics.md에서 확장 관리한다.

왜 필요한가

• 오픈소스 프로젝트는 내부 열정만으로는 실제 사용성을 보장하지 못한다.
• 개발자는 동작 여부를 보고, 사용자는 신뢰와 피로를 본다.
• 특히 메신저는 작은 불편이 누적되면 곧바로 일상 사용에서 탈락한다.

평가 프레임

평가는 다음 8개 축으로 수행한다.

1. 첫인상
2. 가입 간편성
3. 대화 시작 속도
4. 읽고 답장하는 편안함
5. 검색/재발견 효율
6. 신뢰와 안정감
7. 업무 사용 적합성
8. 친근한 소통 적합성

각 항목은 5점 만점으로 평가하고, 단순 평균이 아니라 치명도 가중치를 둔다.

등급 해석

• 4.5 이상: 주사용 전환 가능성 높음
• 4.0 이상: 대체재 후보
• 3.5 이상: 매력은 있으나 습관 전환은 어려움
• 3.0 이상: 데모 수준은 넘었으나 일상 사용엔 부족
• 3.0 미만: 프로토타입 인상

리뷰 세션 유형

유형 A. 처음 써 보는 사용자

• 링크를 받고 5분 안에 가입/대화/전송까지 간다.
• 제품의 목적을 설명 없이 이해하는지 본다.

유형 B. 업무형 사용자

• 멘션, 파일, 나중에 다시 찾기, 다중 대화 처리에 집중한다.

유형 C. 친한 대화 중심 사용자

• 빠른 읽기, 사진/반응, 말투의 부담 없음, 편안함을 본다.

유형 D. 복귀 사용자

• 하루 뒤 다시 들어와서 세션, 읽지 않은 항목, 초안 복귀를 본다.

리뷰 질문

• 이 앱이 지금 어떤 앱인지 첫 화면만 보고 이해됐는가
• 가입이 정말 가벼웠는가
• 첫 메시지 전송까지 막히는 구간이 있었는가
• 목록과 대화창이 메신저답게 느껴졌는가
• 신뢰를 깎는 디버그성 요소가 보였는가
• 업무용으로 쓰고 싶다고 느꼈는가
• 친한 사람과 쓰기에도 부담 없다고 느꼈는가
• 다시 쓰고 싶은 이유와 싫은 이유는 무엇인가

경험 점수표 예시

축	질문	가중치	점수
첫인상	메신저처럼 보이는가	1.3	0-5
가입	1분 안에 시작 가능한가	1.5	0-5
대화 시작	첫 전송까지 헤매지 않는가	1.4	0-5
읽기/답장	입력과 스크롤이 편한가	1.4	0-5
검색/재발견	나중에 찾기 쉬운가	1.2	0-5
안정감	세션/오류 노출이 거슬리지 않는가	1.6	0-5
업무 적합성	처리 효율이 느껴지는가	1.5	0-5
친근함	차갑거나 어색하지 않은가	1.1	0-5

실제 현 산출물에 대한 사용자 관점 리뷰

다음 평가는 현재 라이브 https://vstalk.phy.kr와 현재 데스크톱/문서 상태를 종합한 것이다.

총평

현재 제품은 빠르게 들어와 바로 대화를 시작하는 경험은 설득력이 있지만, 아직 계속 쓰기 시작할 만큼의 정보구조와 신뢰 체계는 더 다듬어야 하는 상태다.
특히 모바일 웹은 사용자가 첫 30초 안에 깔끔한 알파로 느끼되, 업무 허브로서의 깊이는 아직 덜 완성됐다고 볼 가능성이 높다.

좋게 느껴지는 점

• 가입 자체는 매우 짧다.
• 새로고침 뒤 같은 대화로 복귀하는 기본 흐름은 좋아졌다.
• 자기 자신과의 대화로 바로 진입하는 구조는 학습비용이 낮다.
• 한국어 UI 톤은 비교적 차분하고 과장되지 않는다.
• 화이트 기반 미니멀 방향은 메신저 피로를 줄일 잠재력이 있다.
• 불필요하게 화려하지 않아 업무용으로 확장할 수 있는 기반이 보인다.

거슬리는 점

• 목록 상단 필터와 하단 바의 역할이 겹쳐 정보구조가 아직 혼란스럽다.
• 직접 연결하기 -> 서버 주소 노출은 일반 사용자에게 도구 느낌을 남긴다.
• 상태 문구는 부드러워졌지만 다음 행동을 충분히 안내하지는 못한다.
• 검색과 자료 재발견이 아직 얕아 업무 효율 우위가 체감되지 않는다.
• 친한 대화에서 편안함을 만드는 반응/공유 장치도 아직 부족하다.

항목별 점수 초안

축	점수	메모
첫인상	3.6	온보딩은 깔끔하지만 제품보다 알파 도구 느낌이 조금 남음
가입	4.4	짧고 부담이 적음
대화 시작	4.1	첫 대화 진입이 빠름
읽기/답장	3.4	단순해졌지만 하단 바와 상단 메타가 아직 맥락을 분산시킴
검색/재발견	2.7	실제 체감 우위는 아직 약함
안정감	3.3	세션/초안은 나아졌지만 완전한 신뢰 단계는 아님
업무 적합성	3.0	가능성은 보이나 허브형 도구 체계가 아직 부족
친근함	3.2	차갑지는 않지만 가벼운 반응 장치가 더 필요

핵심 해석

• 가입과 첫 대화 진입까지는 경쟁력이 있다.
• 최근 세션 복구, 초안 보존, 마지막 정상 화면 유지 방향은 맞다.
• 하지만 업무용으로 넘어가는 순간 검색, 후속조치, 파일/링크 회수, 하단 바 정보구조가 곧바로 약점으로 드러난다.
• 친근한 대화 쪽에서는 반응, 사진, 가벼운 공유, 정서적 여유를 더 키워야 한다.

현재 리뷰를 더 깊게 보는 보조 문서

• 63-user-journey-review-framework-and-qa-topics.md
• 89-current-product-mobile-web-review-2026-04.md
• 90-current-product-work-journey-review-2026-04.md
• 91-current-product-friendly-journey-review-2026-04.md
• 108-user-fatigue-scorecard-and-heuristic-review-method.md

리뷰 로그 운영 방식

• 모든 주요 빌드마다 최소 3유형 리뷰를 수행한다.
• 스크린샷, 화면 녹화, 한줄 총평, 치명 불편, 재사용 의향을 남긴다.
• 리뷰는 칭찬보다 다시 쓰지 않을 이유를 더 자세히 적는다.

저장 포맷

• 버전
• 채널
• 디바이스
• 사용 시나리오
• 총평
• 점수표
• 치명 이슈
• 개선 제안
• 다음 빌드에서 재검증할 항목

릴리즈 게이트와 연결

• 안정감 항목이 3.5 미만이면 공개 홍보 강화를 보류한다.
• 모바일 웹 첫인상이 3.5 미만이면 README 메인 프로모션을 완화한다.
• 업무 적합성이 4.0 미만이면 업무 메신저 대체 표현을 자제한다.

완료 기준

• 리뷰 체계가 제품의 자아도취를 막아야 한다.
• 매 빌드마다 무엇이 좋아졌는지보다 왜 아직 주사용으로는 망설여지는지를 먼저 드러내야 한다.