개념
품질과 제품 지표는 다른 언어로 같은 것을 말한다
QA는 "결제 관련 주요 결함 3건 미해결"이라고 말하고, 제품 팀은 "결제 전환율이 지난주보다 1.2%p 떨어졌다"고 말한다. 두 문장은 같은 현상을 가리킬 수 있지만, 번역되지 않으면 서로 다른 회의에서 다른 결론을 낸다. 제품 품질 엔지니어는 이 번역을 한다.
HEART — 사용자 경험의 다섯 범주
HEART는 Google의 Kerry Rodden, Hilary Hutchinson, Xin Fu가 대규모 웹 서비스의 사용자 중심 지표를 위해 만든 프레임워크다.
| 범주 | 뜻 | 지표 예 | 품질과의 연결 |
|---|---|---|---|
| Happiness(행복) | 사용자의 태도·만족 | 만족도 설문, 앱 리뷰 평점, NPS | 결함·성능 문제는 평점에 바로 반영 |
| Engagement(참여) | 사용의 깊이·빈도 | 주간 사용 횟수, 세션당 행동 수 | 느린 화면은 참여를 줄인다 |
| Adoption(채택) | 새 사용자·새 기능 사용 시작 | 신규 기능 첫 사용률 | 신규 기능의 초기 결함이 채택을 막는다 |
| Retention(유지) | 계속 돌아오는가 | 7일·30일 재방문율, 이탈률 | 치명 결함 경험자의 재방문율 하락 |
| Task success(과업 성공) | 목표를 이루었는가 | 완료율, 소요 시간, 오류율 | 품질과 가장 직접 연결 |
품질 담당자에게 가장 중요한 범주는 과업 성공 이다. 결제 완료율, 가입 완료율, 검색 후 상품 상세 도달률, 과업 중 오류 발생률. 결함은 대개 이 지표를 먼저 건드린다.
모든 범주를 다 쓸 필요는 없다. 제품이나 기능에 맞는 두세 개를 고른다.
Goals-Signals-Metrics — 목표에서 지표로
HEART는 무엇을 볼지의 범주이고, GSM은 어떻게 지표를 정할지의 절차다. 레슨 44-3의 GQM과 같은 발상이다.
[새 간편결제 기능]
범주 Task success
목표 사용자가 간편결제로 빠르고 실수 없이 결제한다
신호 결제 완료, 결제 중 오류 화면 노출, 결제 단계 체류 시간
지표 간편결제 완료율 = 완료 / 결제 단계 진입
결제 오류 노출률 = 오류 화면 노출 세션 / 결제 단계 진입 세션
결제 소요 시간 중앙값(p50), p90신호(Signal)를 먼저 정하는 것이 핵심이다. "결제 오류 화면이 노출되었다"는 신호가 로그로 남지 않으면 지표를 만들 수 없다. 그래서 GSM을 기능 개발 전에 하면 필요한 로그를 요구사항에 넣을 수 있다. 이것이 제품 품질 엔지니어가 기획 단계에 참여하는 이유 중 하나다.
퍼널 — 단계별 전환과 이탈
퍼널은 여정 단계(레슨 2)를 숫자로 본 것이다.
[주문 퍼널 — 9월 1주 / 2주]
단계 1주 2주 전환율(1주→2주)
장바구니 진입 100,000 100,000
결제 단계 진입 42,000 41,800 42.0% → 41.8%
결제 수단 선택 38,600 38,300 91.9% → 91.6%
결제 승인 35,100 33,400 90.9% → 87.2% ← 3.7%p 하락
주문 완료 34,900 33,150 99.4% → 99.3%"결제 수단 선택 → 결제 승인" 단계에서 3.7%p가 떨어졌다. 이제 품질 담당자의 질문이 시작된다. 이 기간에 무엇이 바뀌었나? 해당 단계의 오류 로그와 고객 문의(레슨 3)는? 특정 OS·앱 버전·결제 수단에 몰려 있나?
품질 문제의 영향을 분리한다
지표가 떨어졌다고 곧바로 결함 탓이라고 할 수 없다. 영향을 분리하는 방법은 세분화 다.
| 세분화 축 | 확인하는 것 |
|---|---|
| 플랫폼·OS·앱 버전 | 특정 버전에만 떨어졌다면 그 버전의 결함 가능성 |
| 결제 수단·외부 연동사 | 특정 연동사만이라면 외부 장애 가능성 |
| 결함 경험 여부 | 오류 화면을 본 세션과 안 본 세션의 전환율 차이 |
| 시간대 | 특정 시간에 몰렸다면 부하·점검 가능성 |
[세분화 결과]
iOS 17.x 앱 5.8.0 결제 승인 전환율 80.1% (이전 버전 91.0%)
iOS 17.x 앱 5.7.x 90.8%
Android 전체 91.2%
→ iOS 앱 5.8.0에서만 하락. 5.8.0 릴리스 노트의 결제 SDK 업데이트와 BUG-812(결제 앱 복귀) 시점 일치.
영향 추정: iOS 5.8.0 결제 진입 세션 × 10.7%p ≈ 주간 1,650건 결제 손실"오류를 경험한 사용자의 이후 행동"도 강력한 증거다. 결제 오류를 한 번 본 사용자의 30일 재구매율이 그렇지 않은 사용자보다 낮다면, 결함의 비용은 그 한 번의 결제보다 훨씬 크다.
지표 해석의 함정
| 함정 | 예 | 대응 |
|---|---|---|
| 평균의 함정 | 결제 소요 시간 평균 4초 — 하지만 10%는 20초 이상 | 중앙값과 p90·p99를 함께 본다 |
| 계절성 | 월말·명절·급여일에 전환율이 원래 다르다 | 전주가 아니라 전년 같은 기간이나 같은 요일과 비교 |
| 동시 변경 | 같은 주에 결함 수정과 가격 변경이 함께 배포됨 | 변경 이력을 함께 기록하고, 가능하면 세분화로 분리 |
| 생존 편향 | 이탈한 사용자는 설문에 답하지 않는다 | 만족도만이 아니라 이탈 데이터를 함께 본다 |
| 작은 표본 | 신규 기능 첫날 전환율 | 충분한 기간과 표본이 쌓인 뒤 판단 |
A/B 테스트로 변경의 효과를 측정하는 경우에도 품질 문제가 실험을 오염시킬 수 있다. 실험군에만 결함이 있으면 "새 디자인이 나쁘다"는 잘못된 결론이 나온다. 실험 시작 전 양쪽 그룹의 오류율을 확인하는 것이 품질 담당자의 역할이다.
품질 지표를 제품 대시보드에 넣는다
제품 팀의 대시보드에 품질 지표가 한 줄 있으면 대화가 달라진다.
[결제 영역 주간 대시보드]
과업 성공 결제 완료율 87.2%(▼3.7%p) 결제 소요 p90 9.8초(▲)
품질 신호 결제 오류 노출률 4.1%(▲) 결제 관련 문의 212건(▲) 미해결 주요 결함 2건
유지 결제 오류 경험자 30일 재구매율 41%(비경험자 58%)실무에서 왜 필요한가
결함의 우선순위를 두고 논쟁할 때 "심각도: 주요"는 설득력이 약하다. "이 결함으로 주간 1,650건의 결제가 사라지고, 경험한 사용자의 재구매율이 17%p 낮다"는 제품 책임자가 바로 이해하는 언어다. 또 출시 후 지표를 보는 습관은 테스트가 놓친 결함을 빨리 찾게 해 준다.
채용시장에서의 위치
제품 분석 도구(Amplitude, Mixpanel, GA4 등)와 SQL 경험은 제품 품질·서비스 기획 공고의 우대사항이다. QA가 퍼널 세분화로 결함의 사업 영향을 추정한 사례를 가지고 있으면 데이터 분석가·PO와 같은 테이블에 앉을 수 있다.