ITSM과 QA — 출시 이후의 품질을 운영 프로세스와 지표로 관리하기

개념

테스트가 끝난 다음 날부터

지금까지 이 커리큘럼의 대부분은 출시 전 의 품질을 다뤘다. 요구사항을 읽고, 케이스를 설계하고, 자동화를 만들고, 릴리스 게이트를 세웠다. 그런데 사용자가 품질을 경험하는 시간의 대부분은 출시 후 다. 결제가 느려지고, 로그인이 실패하고, 설정을 바꾼 뒤 기능 하나가 사라진다.

출시 후의 이런 일들은 테스트 조직이 아니라 운영 조직 이 받는다. 그리고 운영 조직은 결함·테스트·릴리스라는 단어 대신 인시던트·문제·변경·서비스 수준 이라는 단어를 쓴다. 이 단어들을 체계로 묶은 것이 IT 서비스 관리(IT Service Management, ITSM) 다.

QA가 ITSM을 알아야 하는 이유는 두 가지다. 첫째, 출시 전 품질 활동의 결과가 운영에서 검증 된다. 운영에서 반복되는 인시던트는 테스트가 놓친 곳을 정확히 가리킨다. 둘째, 운영 프로세스 자체가 품질 관리 대상 이다. 변경이 검증 없이 반영되고, 인시던트가 원인 분석 없이 닫히면, 출시 전 품질 활동이 아무리 좋아도 서비스 품질은 떨어진다.

서비스와 서비스 관리

ITSM의 출발점은 서비스 라는 관점이다. ITIL은 서비스를 대략 이렇게 설명한다. 고객이 원하는 결과를 달성하도록 가치 공동 창출을 가능하게 하는 수단 이며, 고객이 특정 비용과 위험을 직접 관리하지 않아도 되게 해 준다.

이 관점이 QA에게 주는 전환은 이렇다.

마지막 줄의 가치 공동 창출(value co-creation) 은 ITIL 4 이후 강조되는 개념이다. 서비스 제공자가 가치를 일방적으로 "전달"하는 것이 아니라, 사용자의 활용 방식과 함께 가치가 만들어진다는 뜻이다. 사용자 교육, 서비스 요청 처리, 피드백 반영이 모두 품질 활동이 된다.

프레임워크 지도 — 네 문서는 성격이 다르다

채용 요건에 "ITSM/ITIL, ISO 9001, ISO/IEC 20000, CMMI 등 관련 프레임워크 활용"이 한 줄로 적히지만, 네 이름은 전혀 다른 종류의 문서 다. 모듈 32 레슨 7에서 문서 유형이 판정 가능성을 정한다고 했던 것처럼, 성격부터 구분한다.

흔한 혼동이 둘이다. "ITIL 인증 기업"은 성립하지 않는다. ITIL은 개인이 자격 시험을 보는 체계이고, 조직이 서비스 관리 체계로 인증을 받는다면 그것은 ISO/IEC 20000-1이다. 모듈 32 레슨 6에서 "KOLAS 인정 제품"이 성립하지 않는 표현이라고 한 것과 같은 구조다. 그리고 CMMI는 인증이 아니라 평가 다. 성숙도 수준은 평가 결과로 부여된다.

네 문서는 경쟁 관계가 아니라 층 이다. 실무에서 흔한 조합은 ITIL로 프랙티스를 설계하고, ISO/IEC 20000-1로 그 체계를 인증받고, ISO 9001로 조직 전체 품질경영과 묶고, CMMI로 개발·서비스 프로세스 성숙도를 평가받는 것이다. 레슨 5에서 겹치는 곳을 한 장으로 정리한다.

QA와 ITSM이 만나는 여섯 지점

이 커리큘럼에서 배운 것들이 운영에서 어떤 이름으로 다시 나타나는지 짝지으면 이렇다.

그리고 ITIL 4의 34개 프랙티스 목록에는 서비스 확인과 시험(service validation and testing) 이라는 프랙티스가 따로 있다. 테스트는 ITSM의 바깥이 아니라 서비스 관리의 한 프랙티스 로 명시되어 있다. QA 조직이 ITSM 체계 안에서 자기 자리를 설명할 때 가장 먼저 짚을 지점이다.

운영 품질을 말하는 지표

출시 전 품질을 결함 수·커버리지·통과율로 말했다면, 운영 품질은 다른 지표로 말한다.

변경 실패율과 복구 시간은 모듈 18a 레슨 13에서 본 DORA 지표 와도 겹친다. 개발 생산성 논의와 운영 품질 논의가 같은 숫자를 공유한다는 뜻이다. QA가 이 숫자들을 테스트 계획의 입력으로 쓰기 시작하면 테스트 조직과 운영 조직이 같은 언어로 이야기하게 된다.

주의할 점이 하나 있다. 이 지표들은 정의가 조금만 달라도 값이 크게 달라진다. MTTR의 시작점이 "인시던트 발생"인지 "접수"인지, 종료점이 "복구"인지 "종료 처리"인지에 따라 두 배 차이가 난다. 모듈 22 레슨 8에서 Jira 대시보드 지표의 정의를 먼저 고정하라고 했던 원칙이 여기서 그대로 적용된다.

이 모듈의 지도

실무에서 왜 필요한가

QA가 운영 언어를 모르면 두 조직 사이에서 같은 사건이 두 번 처리된다. 운영팀은 인시던트를 "복구"로 닫고, QA팀은 같은 문제를 결함으로 따로 받아 재현부터 다시 한다. 인시던트 기록과 결함 기록이 연결되어 있지 않으니, 어떤 결함이 몇 번의 운영 인시던트를 만들었는지 아무도 모른다. 이 연결 하나로 결함 우선순위 논쟁의 대부분이 정리된다. 운영 영향이라는 객관적 근거가 생기기 때문이다.

변경 관리에서도 QA의 발언권이 달라진다. 변경 요청의 위험 평가에 "테스트 완료"라는 체크박스만 있으면 QA는 형식적 승인자가 된다. 반대로 어떤 회귀 범위를 어떤 환경에서 확인했는지 가 변경 기록에 증거로 붙으면, 변경 실패율이 QA 활동의 성과 지표가 된다.

채용 시장에서 운영·ITSM 경험을 요구하는 QA 직무는 SI·공공·금융 운영 사업에서 특히 많다. 운영 계약은 SLA로 평가되고, SLA 미달은 계약상 불이익으로 돌아온다. 이 환경의 QA는 출시 전 테스트보다 운영 중 변경 검증과 서비스 수준 보고 에 더 많은 시간을 쓴다.

채용시장에서의 위치

"ITSM/ITIL, ISO 9001, ISO/IEC 20000, CMMI 등 관련 프레임워크 활용 운영", "ITIL Foundation 자격 소지", "ServiceNow·Zendesk 등 ITSM 도구 구축 또는 운영 경험" — 이 세 줄은 IT 운영 서비스 기업, 공공·금융 SI의 운영 조직, 대기업 IT 자회사, 글로벌 SaaS 기업의 고객 지원·운영 품질 직무 공고에 자주 함께 나온다. QA 경력자가 이 직무로 옮길 때 가장 큰 자산은 재현·원인 분석·검증의 습관 이고, 가장 큰 공백은 서비스 관점의 용어와 체계 다. 이 모듈이 그 공백을 채운다.

실습 과제

과제 1 — 프레임워크 문장 교정 (10분)

아래 문장에서 성격을 잘못 쓴 부분을 찾아 고친다.

1. "당사는 ITIL 인증을 획득한 운영 전문 기업입니다."
2. "CMMI 레벨 3 인증서를 제출할 것."
3. "ISO/IEC 20000-1 에 따라 인시던트 처리 절차를 수립하고, ITIL 자격증으로 이를 증명한다."
4. "ISO 9001 은 IT 서비스 전용 표준이므로 운영 조직에만 적용한다."

과제 2 — 접점 표 채우기 (15분)

본인 조직(또는 가상의 이커머스 서비스)에서 본문 여섯 접점마다 지금 두 조직이 어떻게 연결되어 있는지 한 줄씩 적는다. 연결이 없으면 "끊김"으로 표시하고, 끊긴 곳 하나를 골라 연결 방법(기록 필드·도구 연동·회의)을 제안한다.

과제 3 — 운영 지표 정의서 (20분)

MTTR·변경 실패율·재발 인시던트 비율 세 지표에 대해 정의서를 쓴다. 각 지표마다 시작점·종료점·분자·분모·제외 조건·데이터 출처·집계 주기 를 적는다. 정의가 두 가지로 해석될 수 있는 곳을 일부러 찾아 결정 근거를 붙인다.

과제 4 (선택) — 인시던트에서 테스트 계획으로 (15분)

최근 3개월 운영 인시던트 목록(또는 가상의 열 건)을 원인 영역별로 묶고, 다음 릴리스 테스트 계획의 리스크 항목으로 옮긴다. 모듈 4의 리스크 기반 테스트 표 형식을 쓴다.

자가 체크리스트

• 출시 후 품질이 운영 프로세스로 관리되는 이유와 QA가 ITSM을 알아야 하는 두 이유를 설명할 수 있다
• 제품 관점과 서비스 관점의 차이, 가치 공동 창출의 뜻을 말할 수 있다
• ITIL·ISO/IEC 20000-1·ISO 9001·CMMI의 성격(지침·요구사항 표준·모델)과 인증 대상을 구분할 수 있다
• "ITIL 인증 기업", "CMMI 인증"이 왜 잘못된 표현인지 설명할 수 있다
• QA 활동과 ITSM 프랙티스가 만나는 여섯 지점을 짝지을 수 있다
• ITIL 4 프랙티스에 서비스 확인과 시험이 포함된다는 것을 안다
• 운영 품질 지표 여섯 가지와 각 지표가 QA에게 주는 신호를 말할 수 있다
• 운영 지표의 정의(시작점·종료점·제외 조건)를 고정해야 하는 이유를 안다

흔한 실수

ITIL을 조직 인증으로 말한다. ITIL은 개인 자격 체계다. 조직 인증은 ISO/IEC 20000-1이다.

인시던트와 결함을 따로 관리하고 연결하지 않는다. 운영 영향이라는 가장 강한 우선순위 근거를 버리는 것이다.

변경 요청에 "테스트 완료" 체크박스만 둔다. 확인한 회귀 범위와 환경이 증거로 붙어야 한다.

MTTR을 정의 없이 비교한다. 시작점·종료점이 다르면 같은 이름의 다른 지표다.

테스트를 ITSM 바깥의 활동으로 설명한다. 서비스 확인과 시험은 서비스 관리 프랙티스의 하나다.

참고 자료

• ITIL 4 Service Value System Explained — 가치 시스템·원칙·가치 사슬·프랙티스 (ITSM.tools)
• ISO/IEC 20000-1:2018 — Service management system requirements (ISO)
• ISO 9001 — Quality management systems (ISO)
• CMMI v3 Update Explained (Core Business Solutions)
• DORA — Software delivery performance metrics (Google Cloud)
• 이 커리큘럼 안: 모듈 4 「리스크 기반 테스트」, 모듈 6 「결함 관리」, 모듈 14 레슨 7 「SLO·SLI」, 모듈 18a 레슨 13 「DORA 지표」, 모듈 22 레슨 8 「대시보드 지표 정의」, 모듈 32 레슨 6·7 「표현 규칙」·「문서 유형」