측정량과 성적서 항목명 — 분류를 숫자와 문서로 옮기기

개념

분류를 정했으면 그다음은 숫자다

레슨 3과 4에서 분류를 바로잡았다. 그런데 성적서에 "이식성 – 적응성"이라고 적는 것만으로는 아무것도 증명되지 않는다. 그 칸에 들어갈 숫자와 판정 기준이 있어야 문서가 완성된다.

그 숫자를 정의하는 것이 ISO/IEC 25023 이다. 모듈 25 레슨 3에서 25023과 GS인증의 관계를 다뤘고, 여기서는 용어 정렬 관점 에서 한 걸음 더 들어간다 — 측정량의 이름과 성적서 항목명을 어떻게 맞출 것인가.

25010과 25023의 관계, 다시

ISO/IEC 25010   "무엇을 품질이라 부르는가"   → 특성·부특성의 이름과 정의
ISO/IEC 25023   "그것을 어떤 식으로 재는가"  → 부특성별 측정량과 산식

25023의 측정량은 대부분 비율 형태다. 형태가 단순한 대신, 쓰려면 분모를 먼저 정의해야 한다. 이게 실무에서 가장 자주 막히는 지점이다.

이 모듈이 다룬 세 부특성의 측정량

공존성 (CCo-1-G)

X = A / B
 
A = 해당 제품과 공존할 수 있는 것으로 확인된 다른 소프트웨어 제품의 수
B = 운영 환경에서 공존하도록 명시된 다른 소프트웨어 제품의 총 수

분모 B가 곧 레슨 3에서 만든 공존 대상 목록 이다. 목록이 없으면 측정이 성립하지 않는다.

상호운용성

명시된 교환 대상·인터페이스 중 실제로 정상 교환된 비율을 본다. 구조는 같다.

X = 정상적으로 정보를 교환하고 상호 사용한 인터페이스 수 / 명시된 인터페이스 총 수

여기서도 분모가 관건이다. "명시된 인터페이스"가 어디에 명시되어 있는가 — 인터페이스 정의서, 연계 명세서, 계약 부속서. 이 문서가 없으면 분모를 우리가 만들어야 하고, 그러면 자의적이라는 지적을 받는다.

적응성

세 갈래(하드웨어 환경·시스템 소프트웨어 환경·운용 환경)로 나뉘고, 각각 새 조건에서 정상 동작한 기능의 비율 이다.

X = 새 환경에서 정상 동작한 기능 수 / (대상 기능 수 × 대상 환경 수)

레슨 4에서 본 기능 × 브라우저 매트릭스가 그대로 이 식의 입력이 된다.

분모를 정의하는 것이 절반이다

세 측정량 모두 같은 구조다.

분자   실제로 확인된 것의 수        ← 시험해서 얻는다
분모   명시된 대상의 수             ← 시험 전에 정해야 한다

분모는 시험으로 만들어지지 않는다. 계약, 제품 명세, 환경 명세에서 와야 한다. 그게 없으면 QA가 만들고, 만들었다는 사실과 근거를 문서에 남겨야 한다.

[분모 출처의 우선순위]
1순위  계약서·과업지시서에 명시된 지원 대상
2순위  제품 명세·릴리즈 노트의 지원 환경 목록
3순위  시장 점유율 등 근거 자료에 기반해 QA가 제안 → 발주처·PO 승인
4순위  근거 없이 QA가 임의로 정함             ← 지적 대상

3순위와 4순위의 차이는 승인 기록 한 줄 이다. 이 한 줄이 있고 없고가 심사에서 갈린다.

측정 조건 다섯 칸 — 조건 없는 숫자는 비교되지 않는다

분모를 정했다고 측정이 끝나지 않는다. 같은 산식·같은 분모로 재도 조건이 다르면 숫자가 달라진다. 그래서 측정량에는 산식과 단위 외에 조건이 붙어야 한다.

세 번째 칸이 가장 자주 비어 있다. 비율의 분자는 "정상 동작한 것의 수" 인데 무엇이 정상인지는 산식 안에 없다. 표시가 1px 밀린 것은 실패인가. 경고 로그가 뜨지만 기능은 되는 것은 정상인가. 이 정의를 시험 전에 적어두지 않으면 비율은 측정값이 아니라 의견이 된다.

측정 환경·구성을 성적서에 기재하는 형식은 모듈 31 레슨 2에서, 측정 횟수와 보고 통계량을 고르는 기준은 모듈 31 레슨 4에서 다룬다. 여기서 붙잡을 것은 그 칸들이 측정량에 딸린 식별 정보 라는 점이다. 산식만 적힌 측정량은 반쪽이다.

같은 측정량에서 세 숫자가 나오는 자리

조건이 왜 중요한지는 계산을 한 번 벌려 보면 바로 보인다. 기능 25개, 지원 환경을 제품군으로 세면 12개 이고 버전까지 세면 16개 인 상황이다.

[같은 시험, 세 가지 보고]
 
① 환경 단위 집계        전 기능 정상인 환경  11 / 12          = 91.7%
② 조합 단위 집계        정상 조합  288 / (25 × 12 = 300)      = 96.0%
③ 분모를 환경 명세대로  정상 조합  288 / (25 × 16 = 400)      = 72.0%
                        └ 미측정 4환경 × 25기능 = 100 조합이 분모에 남는다

세 숫자 중 거짓은 없다. 조건이 다른 세 측정량 일 뿐이다. 그런데 성적서에 한 줄로 적히는 순간 읽는 사람은 셋을 구분할 방법이 없다.

고정하는 방법은 단순하다 — 항목마다 다섯 칸을 적고, 분모는 환경 명세의 단위를 그대로 복사한다. 우리가 편한 단위로 세면 ③이 ②처럼 보이고, 그 차이는 명세와 대조하는 순간 드러난다.

측정량을 고를 때의 세 질문

25023에는 측정량이 많다. 전부 재려 들면 비용만 늘고 보고서만 두꺼워진다. 고를 때 쓰는 질문이 셋이다.

세 번째에서 가장 많이 탈락한다. 수집은 매달 하는데 그 숫자로 아무것도 결정하지 않는 측정량이 조직마다 몇 개씩 있다. 쓰이지 않는 측정량은 정보가 아니라 고정비 다. 지표를 늘리는 결정은 쉽고 줄이는 결정은 어렵기 때문에, 늘릴 때 이 세 질문을 통과시키는 것이 사실상 유일한 방어선이다.

반대로 세 질문을 모두 통과하는 측정량은 적은 수로도 충분하다. 이 모듈이 다룬 세 부특성처럼 분모가 문서에 있고 판정이 정의되고 합격선이 계약에 걸린 항목이라면, 세 개로도 성적서가 선다.

성적서 항목명 짓기

이제 문서다. 모듈 25 레슨 7에서 다뤘듯 시험성적서는 세 종류가 있고, KOLAS 공인성적서처럼 형식이 엄격한 문서일수록 항목명이 중요하다.

레슨 1의 원칙을 적용한 형식은 이렇다.

[표준 분류] – [부특성] ([실무 용어 병기])
 
이식성 – 적응성 (크로스 브라우저·디바이스 호환성 시험)
호환성 – 상호운용성 (대외 연계 시스템 인터페이스 시험)
호환성 – 공존성 (백신·모니터링 에이전트 동시 운영 시험)

왼쪽은 심사원·계약서가 읽고, 괄호 안은 의뢰인·개발팀이 읽는다.

항목명에서 자주 틀리는 네 가지

병기 형식을 안다고 항목명이 바로 좋아지지 않는다. 틀리는 자리가 거의 정해져 있다.

세 번째가 의외로 흔하다. 괄호에 적어야 하는 것은 무엇을 확인했는지 이고, 도구는 시험 방법 칸에 적는다. 괄호를 "독자가 알아볼 이름" 으로 채우는 것이 병기의 목적이다(레슨 1).

네 번째는 측정량 쪽에서 먼저 막힌다. 항목이 둘을 가리키면 분모가 둘이 되고, 비율을 한 칸에 적을 수가 없다. 그래서 항목명이 안 써지면 대개 항목을 잘못 묶은 것 이다 — 측정량이 항목을 쪼개는 기준이 된다.

성적서 한 항목의 완성된 모습

항목명만으로는 부족하다. 심사에서 되묻지 않는 항목은 다음 다섯 칸이 채워져 있다.

'판정 기준' 칸이 가장 자주 비어 있다. 25010도 25023도 합격선을 알려주지 않는다. 모듈 25 레슨 2의 표현을 빌리면 표준은 답안지가 아니라 질문지 다. 숫자는 계약·제품·사용자가 정한다. 그 근거를 적어두지 않으면 "왜 90%가 합격인가"라는 질문에 답할 수 없다.

합격선은 누가 정하나

"표준에 몇 점 이상이라고 나오냐" 는 질문을 자주 받는다. 답은 나오지 않는다 이고, 이 구분을 모르면 그 질문 앞에서 막힌다. 역할이 나뉘어 있다.

표준        측정 방법을 준다          산식·단위·무엇을 세는가
계약·요구   합격선을 준다              몇 % 이상이면 통과인가
QA          둘을 이어 문서로 만든다     조건을 고정하고 근거를 적는다

합격선의 출처는 실무에서 네 갈래다.

두 번째 줄에서 가장 비싼 실수가 난다. 실측 없이 낙관적으로 쓴 사양서의 숫자가 그대로 시험 기준이 되어 돌아오기 때문이다. 사양서를 쓰는 자리에 측정값을 가진 사람이 앉아 있어야 하는 이유가 이것이다.

합격선을 선언하고 합부 판정으로 옮기는 절차는 모듈 31 레슨 3이 전담하고, 종료 조건으로서의 목표값은 모듈 4 레슨 4에서 다룬다. 이 레슨에서 붙잡을 것은 하나다 — 판정 기준 칸은 표준을 베껴 채울 수 없다. 숫자와 그 출처를 함께 적는다.

판 어긋남을 문서에서 처리하기

레슨 2에서 예고한 실무 문제다.

ISO/IEC 25010:2023   → 유연성 – 적응성
ISO/IEC 25023:2016   → 이식성(Portability) – 적응성  ← 25010:2011 기준으로 쓰여 있다

최신 품질 모델을 쓰면서 2016년 측정 표준을 인용하면 상위 특성명이 어긋난다. 처리 방법은 셋이다.

① 둘 다 명시한다 (권장).

본 문서의 품질 특성 분류는 ISO/IEC 25010:2023을 따르며,
정량 측정량은 ISO/IEC 25023:2016을 참조한다.
25023은 ISO/IEC 25010:2011 기준으로 작성되어 상위 특성명이 일부 다르다
(이식성 → 유연성). 부특성명(적응성)은 동일하다.

문서 머리에 이 세 줄을 두면 심사에서 질문이 나오지 않는다.

② 계약이 요구하는 판으로 통일한다. 계약서가 25010:2011을 명시했다면 그것을 따른다. 최신판을 쓰고 싶어도 계약이 우선이다.

③ 부특성명만 쓴다. 상위 특성을 생략하고 "적응성 시험"으로만 적는 방법이다. 어긋남은 피하지만 분류 계층이 사라져 항목 간 관계가 안 보인다. 항목 수가 적은 문서에서만 쓸 만하다.

대부분의 경우 ①이 답이다. 단서 세 줄을 적는 비용이 가장 싸다.

인증 제도별로 요구가 다르다

KOLAS 공인성적서는 인정받은 시험방법의 범위 안에서만 발급된다. 그래서 항목명을 임의로 지을 수 없고, 기관이 인정받은 시험방법 목록과 대응시켜야 한다. 이 대응 확인은 시험을 의뢰하기 전에 해야 한다. 모듈 28 레슨 8에서 다룬 "공인 시험 가능 항목인지 계약 전에 확인"과 같은 이야기다.

사례 — "적응성 98%" 가 심사에서 두 번 다시 계산된 일

공공 사업 산출물로 낸 시험성적서에 적응성 98% 가 적혀 있었다. 시험은 실제로 했고 결함도 잡았다. 그런데 보완 요구가 두 번 왔다.

2차 지적이 비용이었다. 미측정 4환경 × 25기능 = 100 조합 을 새로 측정해야 했고, 그중 10건이 실패 로 나왔다.

[최종 재계산]
기존 300 조합 중 정상   288
추가 100 조합 중 정상    90
──────────────────────────
         378 / 400  =  94.5%
 
계약서의 합격선: 90% 이상   →   합격

숫자가 98%에서 94.5%로 내려갔지만 결과는 합격이었다. 비싼 것은 숫자가 아니라 재측정 2주와 성적서 재발행 이었다. 재측정은 외부 단말·브라우저 환경 대여 일정에 걸려 줄일 수도 없었다.

그 뒤 바꾼 것은 항목마다 다섯 칸을 시험 전에 적는 것 하나였다.

항목: 유연성 – 적응성 (크로스 브라우저·디바이스 호환성 시험)
  대상 버전   b1284
  측정 환경   환경 명세 부속서 3의 16개 (브라우저 버전까지)
  정상 판정   주요 기능 수행 완료 + 레이아웃 깨짐 없음
              (깨짐 판정은 시안 대비 육안, 검토자 2인 합의)
  측정 횟수   환경별 1회, 실패 시 2회 재확인
  집계 단위   (기능 × 환경) 조합

교훈이 셋이다.

• 분모는 우리가 편한 단위가 아니라 명세가 쓴 단위로 센다 — 제품군으로 세면 버전이 사라지고, 사라진 버전은 심사에서 되돌아온다
• '정상 동작' 의 정의가 없으면 비율은 측정자의 재량 이다. 재량이 섞인 숫자는 반박되고, 반박되면 재측정이다
• 낮은 숫자가 손해가 아니다. 94.5%도 합격선을 넘었다. 손해는 조건을 뒤늦게 정의한 2주 였다

실무에서 왜 필요한가

보완 요구를 줄인다

항목명·적용 판·측정량·분모·판정 기준 다섯 칸이 채워진 항목은 되묻지 않는다. 반대로 한 칸이라도 비면 그 항목은 거의 반드시 질문을 받는다. 한 번 보완 요구가 오면 재작성·재제출에 수 주가 든다.

숫자가 있으면 협상이 된다

"호환성 확인했습니다"와 "적응성 92%(대상 12환경 × 기능 25개 중 23개 환경에서 전 기능 정상, 2개 환경에서 각 1건 실패)"는 다른 문장이다. 후자는 무엇을 포기할지 논의할 수 있는 문장 이다. 모듈 26에서 다룬 경영진 커뮤니케이션의 재료가 된다.

분모를 미리 잡으면 범위가 고정된다

지원 대상 목록을 프로젝트 초기에 확정하면 "이 브라우저도 봐주세요"가 범위 변경 요청이 된다. 목록이 없으면 그 요청이 그냥 당연한 일이 된다. 분모 정의는 측정을 위한 작업이자 범위 방어 수단 이다.

채용시장에서의 위치

측정량은 면접에서 숫자를 다뤄 본 사람과 숫자를 받아 적은 사람 이 가장 빨리 갈리는 주제다. 질문은 대개 평범하게 시작하고, 되묻는 한 마디에 차이가 드러난다.

세 번째가 가장 변별력이 크다. 표준에 합격선이 있다고 믿는 답은 규격을 직접 열어 본 적이 없다 는 사실을 그대로 드러낸다. 그리고 이 구분은 지식이 아니라 경험에서 온다 — 합격선을 계약으로 합의해 본 사람만 "표준이 주지 않는 것을 누가 주는가" 를 자연스럽게 말한다. 면접관이 이어서 묻는 질문도 거의 정해져 있다. "그럼 그 숫자는 어디서 왔습니까." 여기서 계약·사양서·협의 기록을 구분해 답하면 대화가 끝난다.

두 번째도 좋다. 분모를 즉시 말할 수 있는지 가 보이기 때문이다. "대부분" 이라고 답하는 사람은 비율을 보고만 했고 계산해 본 적이 없다. 반대로 분모의 출처까지 한 문장에 붙이면, 범위를 문서로 방어해 본 사람이라는 뜻이 된다.

다섯 번째는 성격이 조금 다르다. 두 숫자를 평균 내지 않는 태도 자체가 측정에 대한 감각이다. 조건이 다른 두 숫자의 평균은 어느 조건도 대표하지 않는다. 공고 표현으로는 "품질 지표 관리", "시험성적서 작성", "인증 산출물 관리", "성능 측정·보고" 가 이 레슨에 걸리고, 시험기관·인증 대응 조직과 공공 SI에서 특히 값이 매겨진다.

실습 과제

과제 1 — 분모 세 개 만들기

레슨 3·4에서 만든 목록을 정식 문서 형태로 확정한다.

"출처" 칸이 4순위(임의)인 항목 을 찾아 승인을 받거나 근거를 보강한다.

과제 2 — 측정량 계산 3종

과제 1의 분모로 실제 비율을 계산한다. 계산 과정을 함께 남긴다.

적응성 = 정상 동작 (기능 × 환경) 조합 수 / 전체 조합 수
       = ___ / (___ × ___) = ___ %

적응성 = 정상 12 / (기능 4 × 환경 5 = 20) = 60%
         └ 미확인 6, 실패 2  ← 함께 적는다

과제 3 — 성적서 항목 5건 완성

본문의 다섯 칸을 모두 채운 시험항목 5건을 작성한다.

판정 기준 칸에 숫자와 함께 그 근거 를 적는다. 근거가 없으면 "근거 없음 — PO 확인 필요"라고 적는다. 비워두지 않는다.

과제 4 — 판 명시 문구 확정

본문 ①의 세 줄 문구를 우리 조직 문서 템플릿에 맞게 다듬어 확정한다. 어느 문서에, 어느 위치에 넣을지도 정한다.

과제 5 — 공인시험 가능 여부 사전 확인

우리가 받으려는(또는 받을 가능성이 있는) 공인성적서의 항목이 시험기관의 인정 범위 안에 있는지 확인한다. 확인 방법:

• 기관의 시험 서비스 안내에서 해당 항목을 찾는다
• 없으면 직접 문의한다
• 결과를 기록한다 (가능 / 불가 / 조건부)

불가로 확인됐다면 계약 문구를 바꿔야 한다. 그 사실을 지금 아는 것이 이 과제의 값어치다.

자가 체크리스트

• 25010과 25023의 역할 차이를 한 문장으로 설명할 수 있다
• 25023 측정량의 일반적 형태(비율)와 분모의 의미를 안다
• 공존성 측정량 CCo-1-G의 A와 B를 설명할 수 있다
• 상호운용성·적응성 측정량의 분모가 각각 무엇인지 안다
• 분모 출처의 4단계 우선순위를 말할 수 있다
• 3순위와 4순위를 가르는 것이 무엇인지 안다
• 병기 형식의 시험항목명을 지을 수 있다
• 성적서 한 항목을 완성하는 다섯 칸을 나열할 수 있다
• 표준이 합격선을 정해주지 않는다는 것과, 판정 기준의 근거를 어디서 가져오는지 안다
• 25010 최신판과 25023:2016의 판 어긋남을 문서에서 처리하는 세 방법을 안다
• KOLAS 공인성적서의 항목명이 왜 임의로 지을 수 없는지 설명할 수 있다

흔한 실수

분모 없이 비율을 보고한다. "적응성 95%"라고만 적혀 있으면 무엇 중 95%인지 알 수 없다. 분모를 함께 적지 않은 비율은 숫자가 아니다.

분모를 시험 결과에 맞춰 사후에 정한다. 12개 환경을 시험했는데 2개가 실패하자 그 2개를 지원 대상에서 빼고 100%로 보고한다. 심사에서 가장 빨리 발각되는 유형 이고, 발각되면 문서 전체의 신뢰가 무너진다.

판정 기준을 적지 않는다. 측정값만 있고 합격선이 없으면 "이 숫자가 좋은 건가요"라는 질문을 받는다. 표준에는 답이 없으므로 우리가 정하고 근거를 적어야 한다.

판 어긋남을 무시하고 넘어간다. 대부분은 그냥 넘어가지만, 꼼꼼한 심사자를 만나면 질문이 온다. 세 줄 단서로 막을 수 있는 일이다.

공인시험 가능 여부를 계약 후에 확인한다. 기관이 그 항목을 인정받지 않았으면 공인성적서 자체가 불가능하다. 계약 문구를 쓰기 전에 확인한다.

표준어만 적고 병기를 생략한다. 성적서를 받아보는 사람이 자기가 무엇을 의뢰했는지 못 알아본다.

참고 자료

• ISO/IEC 25023:2016 — 부특성별 측정량과 산식. 공존성(CCo-1-G)·상호운용성·적응성 측정량의 정의
• The Applicability of ISO/IEC 25023 Measures — 25023 측정량을 실제 시스템에 적용하며 겪은 문제들
• ISO/IEC 25023:2016 개요 — 표준의 적용 범위와 구조
• KOLAS(한국인정기구) 안내 — 공인시험기관의 인정 범위와 공인성적서 발급 요건
• 모듈 25 레슨 3 ISO/IEC 25023·12119 — 품질을 수치로 재고 인증받기 — 측정과 인증 제도의 전반
• 모듈 25 레슨 7 시험성적서의 세 얼굴 — 일반·KOLAS 공인·GS인증의 효력 차이
• 모듈 28 레슨 8 표준 기반 테스트 계획 실전 — 추적성 매트릭스와 증거. 성적서 항목의 상위 구조
• 모듈 26 C레벨 이해와 품질 커뮤니케이션 — 측정값을 의사결정 언어로 옮기기

이 커리큘럼 안에서

• 모듈 30 레슨 1 — 병기 원칙. 항목명 짓기의 근거
• 모듈 30 레슨 2 — 25010 개정. 판을 적어야 하는 이유
• 모듈 30 레슨 3~4 — 공존성·상호운용성·적응성. 이 레슨이 재는 대상
• 모듈 30 레슨 8 — 팀 용어집과 이행. 항목명 규칙을 정착시키는 자리
• 모듈 25 레슨 3·7 — 측정·인증 제도와 시험성적서의 세 얼굴
• 모듈 28 레슨 1 — 착수 때 시험 가능 항목 확인. 과제 5의 근거
• 모듈 28 레슨 5·8 — 분모 없는 숫자 함정, 추적성 매트릭스
• 모듈 4 레슨 4 — 종료 조건. 합격선을 누가 정하는가와 같은 문제
• 모듈 6 레슨 5 — 지표. 숫자에 해석을 붙이는 문장 틀
• 모듈 26 레슨 3 — 가정과 민감도. 측정 조건을 먼저 적는 것과 같은 태도

한 줄 정리 — 측정량은 산식·단위·측정 조건이 붙어야 비교 가능하고, 분모를 정의하는 것이 절반이다. 성적서 항목명은 분류는 표준, 실무 용어는 병기, 판은 명시로 짓고, 합격선은 표준이 주지 않는다 — 대개 계약·요구사항이 정하므로 그 근거를 함께 적는다. 그리고 확인 못 한 조합을 분모에서 빼면 100%에 가까워지고 의미가 사라진다 — 미확인을 함께 세는 숫자가 쓸모 있는 숫자다.