개념
팀 지표와 포트폴리오 지표는 다르다
모듈 43 레슨 5의 지표는 한 릴리스를 운영하기 위한 것이었다. 결함 유입 곡선, 번업, 재오픈율. 이것들을 제품 다섯 개에 대해 모아서 경영진에게 보여 주면 어떻게 될까? 제품마다 규모도 주기도 다르니 비교가 안 된다. 결함 50건인 제품이 결함 10건인 제품보다 나쁜지 알 수 없다. 앞의 것은 사용자 100만 명의 핵심 서비스이고 뒤의 것은 사내 도구일 수 있다.
포트폴리오 지표는 다른 질문에 답한다. "조직 전체의 품질은 나아지고 있는가? 어느 제품에 투자가 필요한가?"
GQM — 목표에서 지표를 거꾸로 도출한다
지표를 고르는 가장 흔한 실수는 "측정하기 쉬운 것"부터 고르는 것이다. GQM(Goal-Question-Metric)은 Victor Basili가 제안한 방법으로, 순서를 뒤집는다.
- 목표(Goal) — 조직이 달성하려는 것
- 질문(Question) — 목표 달성 여부를 판단하려면 무엇을 알아야 하나
- 지표(Metric) — 그 질문에 답하는 측정값
G1 고객이 겪는 품질 문제를 줄인다
Q1.1 운영에서 고객이 겪는 결함은 줄고 있는가?
M 운영 결함 수(심각도 가중) / 활성 사용자 1만 명
Q1.2 결함이 고객에게 닿기 전에 잡히는 비율은?
M 결함 탈출률 = 운영 발견 결함 / 전체 결함
Q1.3 문제가 생기면 얼마나 빨리 회복하는가?
M 장애 복구 시간(MTTR)
G2 품질 활동의 효율을 높인다
Q2.1 회귀에 드는 시간이 줄고 있는가?
M 릴리스당 회귀 소요 시간
Q2.2 자동 테스트는 신뢰할 만한가?
M 플래키 테스트 비율GQM으로 도출하면 모든 지표가 왜 측정하는지 답을 갖고 있다. 반대로 목표와 연결되지 않는 지표(예: 작성된 테스트 케이스 수)는 대시보드에서 빠진다.
비교 가능하게 정규화한다
제품 간 비교를 하려면 절대값이 아니라 비율 로 만든다.
| 절대값(비교 불가) | 정규화(비교 가능) |
|---|---|
| 운영 결함 30건 | 운영 결함 / 활성 사용자 1만 명, 또는 / 배포 100회 |
| 테스트 케이스 2,000개 | 핵심 사용자 흐름 중 자동 회귀가 있는 비율 |
| 장애 5건 | 월간 가용성(%), 장애 복구 시간 중앙값 |
| 결함 120건 발견 | 결함 탈출률(%) |
심각도도 가중한다. 치명 1건과 경미 1건을 같게 세면 경미 결함이 많은 제품이 나쁘게 보인다. 예: 치명 10점, 주요 3점, 보통 1점, 경미 0.2점. 가중치는 조직이 합의하고 공개한다.
선행 지표와 후행 지표를 짝짓는다
| 종류 | 성격 | 예 |
|---|---|---|
| 후행 지표 | 결과. 이미 일어난 일 | 운영 결함, 장애 시간, 고객 문의 |
| 선행 지표 | 원인. 미래를 예측 | 요구사항 리뷰 참여율, 자동 회귀 커버리지, 정적 분석 치명 건수 |
경영진은 후행 지표를 원한다. 하지만 후행 지표만 보면 문제가 이미 고객에게 간 뒤에야 안다. 포트폴리오 대시보드는 후행 지표 하나에 선행 지표 하나 를 짝지어 보여 준다. "운영 결함이 늘었다(후행) — 이 제품은 두 분기째 요구사항 리뷰 참여율이 30%대다(선행)."
DORA 지표와 품질의 연결
많은 조직이 이미 DORA(DevOps Research and Assessment) 지표를 쓴다. 배포 빈도, 변경 리드타임, 변경 실패율, 장애 복구 시간. 이 중 변경 실패율 과 장애 복구 시간 은 품질 지표와 직접 겹친다. QMO는 별도의 품질 지표 체계를 만들기보다 DORA 지표를 공유하고 거기에 결함 탈출률, 자동 회귀 비율 같은 품질 고유 지표를 더하는 편이 경영진 입장에서 이해하기 쉽다(모듈 14 레슨 7의 SLO·SLI도 같은 흐름이다).
경영진 대시보드 — 한 화면
[제품 품질 포트폴리오 — 2026 Q3]
제품 운영결함(가중)/1만명 탈출률 변경실패율 MTTR 선행: 자동회귀 추세
결제 0.8 ● 6% 4% 35분 92% ▼ 개선
회원 1.9 ● 14% 9% 2.1시간 61% ▲ 악화
커머스 1.1 ● 9% 6% 50분 78% → 유지
관리자 0.4 ● 11% 3% 1.5시간 40% → 유지
사내 정산 2.7 ● 21% 12% 4시간 22% ▲ 악화
주의 제품: 사내 정산, 회원
권고: 사내 정산 자동 회귀 구축(비즈니스 케이스 첨부), 회원 요구사항 리뷰 게이트 적용대시보드의 마지막 두 줄이 가장 중요하다. 주의 제품 과 권고. 경영진 보고의 목적은 투자와 우선순위 결정이다(모듈 43 레슨 7의 원칙이 조직 수준에서 반복된다).
굿하트의 법칙 — 지표가 목표가 되면
"측정값이 목표가 되면 좋은 측정값이 아니게 된다." 경제학자 Charles Goodhart의 관찰에서 나온 이 말은 품질 지표에서 특히 잘 맞는다.
| 지표를 목표로 삼으면 | 일어나는 일 |
|---|---|
| 결함 발견 수 | 사소한 결함을 쪼개서 등록한다 |
| 운영 결함 0건 | 운영 결함을 "개선 요청"으로 분류한다 |
| 자동화 커버리지 90% | 검증 없는 테스트, 쉬운 경로만 자동화한다 |
| 테스트 통과율 100% | 실패하는 테스트를 비활성화한다 |
| 결함 해결 시간 | 제대로 고치지 않고 닫았다가 재오픈한다 |
방지책은 네 가지다.
- 지표를 개인 평가에 직접 연결하지 않는다 — 팀과 조직의 개선 판단에 쓴다
- 짝 지표를 둔다 — 결함 해결 시간과 재오픈율을 함께 본다. 하나를 속이면 다른 하나가 나빠진다
- 정의를 공개하고 감사한다 — 결함 분류 기준을 문서화하고 분기마다 표본을 검토한다
- 숫자 옆에 이야기를 둔다 — 지표가 크게 변하면 반드시 원인 설명을 붙인다
실무에서 왜 필요한가
QMO가 경영진의 신뢰를 얻는 방법은 하나다. 품질을 투자 결정의 언어로 말하는 것. 제품별 정규화 지표와 선행 지표가 있으면 "어느 제품에 다음 분기 품질 투자를 해야 하는가"에 데이터로 답할 수 있다. 없으면 품질 예산은 목소리 큰 팀이나 최근 장애가 난 팀에 몰린다.
채용시장에서의 위치
QMO·QA 조직장 면접에서 "품질을 어떻게 측정하셨나요"는 반드시 나온다. GQM으로 도출한 지표 체계와 굿하트의 법칙에 대한 방지책까지 말할 수 있으면, 지표를 숫자 놀이가 아니라 경영 도구로 다룰 줄 아는 사람으로 보인다.