개념
1.49초는 적합인가
기준이 "평균 응답시간 1.5초 이하"이고 측정값이 1.49초로 나왔다. 적합인가?
대부분 "당연히 적합"이라고 답한다. 그런데 측정에는 언제나 불확실성이 따른다. 세 번 더 재면 1.52초, 1.47초, 1.55초가 나올 수 있다. 그렇다면 1.49초는 "기준을 만족하는 제품"의 값인가, "기준 근처에서 오르내리는 제품"의 값인가?
이 질문에 답하는 방법을 미리 정해두는 것이 결정 규칙(decision rule) 이고, ISO/IEC 17025:2017은 적합성 선언(statement of conformity)을 하는 성적서에 대해 사용한 결정 규칙을 문서화하고 그에 따르는 위험 수준을 고려할 것 을 요구한다(7.8.6).
여기서 핵심은 이것이다.
합부 판정은 측정의 결과가 아니라 측정 + 규칙 의 결과다. 규칙을 밝히지 않은 "적합"은 판정이 아니라 의견에 가깝다.
판정 기준의 세 요소
성적서에 판정 기준을 적을 때 필요한 것은 숫자 하나가 아니라 세 가지다.
| 요소 | 내용 | 예 |
|---|---|---|
| 기준값(허용 한계) | 어떤 값을 넘으면 안 되는가 | 응답시간 p95 ≤ 1.5초 |
| 측정 방식 | 어떻게 잰 값인가 | 30분 정상 상태 구간, 3회 반복의 각 회차 p95 |
| 결정 규칙 | 불확실성을 어떻게 다루는가 | 3회 모두 기준 이하일 때 적합(단순 수용) |
세 번째가 빠진 성적서가 대부분이다. 그리고 그 빈칸은 나중에 분쟁이 나면 읽는 사람 각자의 상식으로 채워진다 — 서로 다르게.
단순 수용과 가드밴드
결정 규칙에는 여러 형태가 있지만, 실무에서 출발점이 되는 것은 두 가지다. ILAC G8:2019(적합성 선언과 결정 규칙에 관한 지침)가 이 구조를 정리하고 있다.
단순 수용(simple acceptance) 은 측정값이 허용 한계 안에 들면 적합으로 판정한다. 측정불확도를 판정에 반영하지 않는다.
허용 한계 TL = 1.5초
적합 | 부적합
────────────────────┼────────────────────
1.5초
측정값 1.49 → 적합 (불확도 무시)간단하고 빠르지만, 잘못 합격시킬 확률(소비자 위험) 이 한계 근처에서 최대 50%까지 올라간다. 참값이 1.51초인 제품도 측정 편차로 1.49초가 나올 수 있기 때문이다.
가드밴드(guard band) 는 허용 한계에서 여유분 w 만큼 안쪽으로 들어온
값만 적합으로 본다. w 는 보통 확장불확도 U 에서 유도한다.
허용 한계 TL = 1.5초, 확장불확도 U = 0.08초, 가드밴드 w = U
적합 | 판정 유보 | 부적합
───────────────┼────────────┼──────────────
1.42초 1.5초
AL = TL − w = 1.42초
측정값 1.49 → 적합 아님 (수용 한계 초과)가드밴드를 두면 잘못 합격시킬 확률이 크게 떨어지는 대신, 실제로는 괜찮은 제품을 떨어뜨릴 확률(생산자 위험) 이 올라간다. 어느 쪽 위험을 더 싫어하는가에 따라 규칙을 고르는 것이고, 그 선택을 성적서에 적어야 한다 는 것이 17025의 요구다.
이 구조가 낯익다면 맞다. 모듈 3에서 배운 경계값 분석이 "경계에서 결함이 몰린다"는 관찰이라면, 결정 규칙은 "경계에서 판정도 흔들린다" 는 관찰에 대한 대응이다.
소프트웨어 시험에서 '측정불확도'를 어떻게 잡는가
물리 시험에서는 장비 교정 성적서에서 불확도가 나온다. 소프트웨어 성능 시험에는 그런 소급 경로가 없다. 그래서 이 개념을 그대로 옮길 수 없고, 실무에서는 반복 측정의 산포로 대체 하는 접근을 쓴다.
3회 반복 측정 p95 = 1.42 / 1.49 / 1.38 초
평균 1.43, 표준편차 s ≈ 0.056
확장 개념의 여유분 w = 2s ≈ 0.11초
수용 한계 AL = 1.5 − 0.11 = 1.39초
→ 1.49초는 AL 초과. 단순 수용이면 적합, 가드밴드면 부적합.이 계산이 계량학적으로 엄밀한 불확도 평가는 아니다. 그 점을 성적서에 정직하게 적어야 한다 — "본 시험의 여유분은 반복 측정의 표본표준편차에 근거하며, 계량학적 측정불확도 평가가 아니다." 이렇게 쓴 성적서와, 아무 말 없이 1.49초를 적합으로 적은 성적서는 완전히 다른 문서다.
중요한 것은 정밀한 불확도 수치가 아니라, 불확실성을 인식하고 규칙으로 다뤘다는 사실이 문서에 남는 것이다.
기능 시험의 판정 기준 — 숫자가 아닐 때
성능만 판정 기준이 필요한 것이 아니다. 기능 시험도 판정 규칙이 필요한데, 여기서 모호함은 다른 형태로 나타난다.
나쁜 판정 기준:
- "로그인이 정상 동작할 것"
좋은 판정 기준:
- 유효한 이메일·비밀번호 입력 시 3초 이내 인증 성공 응답(HTTP 200)과
세션 토큰 발급을 확인한다
- 비밀번호 5회 연속 오입력 시 계정이 잠기고, 6회차 요청이 423으로
거부되는 것을 확인한다
- 시험 항목 20건 중 20건 모두 기대 결과와 일치할 때 '적합'으로 판정한다마지막 줄이 기능 시험의 결정 규칙이다. 몇 건이 통과해야 적합인가. 전수 통과인가, 치명 결함만 없으면 되는가, 경미한 불일치는 몇 건까지 허용하는가. 이것을 정하지 않으면 결함 1건이 나왔을 때 판정할 수 없다.
| 규칙 유형 | 판정 방식 | 쓰는 곳 |
|---|---|---|
| 전수 통과 | 전 항목 일치 시에만 적합 | 안전 관련, 인증 시험 |
| 등급별 허용 | 치명·중대 0건, 경미 n건 이하 | 일반 의뢰 시험, 인수 시험 |
| 조건부 적합 | 부적합 항목을 명시하고 나머지에 대해 판정 | 항목별 결과를 각각 요구할 때 |
세 번째를 쓸 때 특히 조심해야 한다. "일부 부적합"이라는 표현은 읽는 사람이 '적합'으로 요약해버리기 쉽다. 항목별 결과표를 본문에 넣고, 종합 판정 칸에는 부적합 항목 수를 함께 적는 것이 안전하다.
판정을 하지 않는 선택지도 있다
여기서 꼭 짚어야 할 것이 있다. 모든 성적서가 합부 판정을 하는 것은 아니다.
ISO/IEC 17025는 적합성 선언을 하는 경우에 결정 규칙을 요구하는 것이지, 적합성 선언 자체를 요구하지 않는다. 측정값만 보고하고 판정은 의뢰인이 하도록 하는 성적서는 완전히 정상적인 형태다.
| 형태 | 성적서에 적히는 것 | 언제 택하는가 |
|---|---|---|
| 측정 결과만 보고 | "p95 = 1.49초" | 기준이 의뢰인 쪽에 있을 때, 기준이 계약마다 다를 때 |
| 적합성 선언 포함 | "p95 = 1.49초, 기준 1.5초 이하, 단순 수용 규칙 적용 — 적합" | 명확한 기준이 사전 합의되었을 때 |
기준이 애매한데 억지로 판정을 넣는 것보다, 측정값만 정확히 보고하고 판정 권한을 의뢰인에게 넘기는 편이 나은 경우가 많다. 판정은 책임을 동반한다 는 사실을 기억할 필요가 있다.
의견과 해석은 판정과 구분해 적는다
시험원이 "이 정도면 실서비스에서도 괜찮을 것으로 보입니다" 같은 말을 성적서에 적고 싶을 때가 있다. 17025는 이것을 의견과 해석(opinions and interpretations, 7.8.7) 으로 따로 다루며, 승인된 인원만 낼 수 있고 그 근거를 문서화 할 것을 요구한다. 그리고 성적서 안에서 측정 결과와 명확히 구분되어야 한다.
실무적으로는 이렇게 쓴다.
[시험 결과] p95 응답시간 1.49초 (3회 반복 중 최댓값)
[판정] 기준 1.5초 이하, 단순 수용 규칙 적용 — 적합
[의견] 한계값 대비 여유가 1% 미만으로, 데이터 증가 시 기준
초과 가능성이 있다. 본 의견은 시험 결과에 근거한
시험원의 해석이며 적합성 판정의 일부가 아니다.의견 절이 붙은 성적서는 읽는 사람에게 훨씬 유용하다. 다만 그것이 판정과 섞이면 성적서의 법적 성격이 흐려진다. 분리해서 적으면 둘 다 살릴 수 있다.
판정을 쓰는 네 가지 말과 각각의 무게
성적서의 결과 칸에 쓸 수 있는 말이 몇 가지 있고, 무게가 전부 다르다. 섞어 쓰면 읽는 사람이 다르게 해석한다.
| 쓰는 말 | 뜻 | 쓸 수 있는 조건 |
|---|---|---|
| 적합 / 부적합 | 기준에 대한 판정 | 기준값과 결정 규칙이 있을 때만 |
| 통과 / 실패 | 시험 수행 결과 | 기준이 내부 케이스 수준일 때 |
| 해당 없음 | 그 항목이 대상에 없다 | 사유를 함께 적는다 |
| 미수행 | 수행하지 않았다 | 사유와 영향을 적는다(레슨 1) |
첫 줄과 두 번째 줄을 섞는 것이 가장 흔한 문제다. "통과" 는 우리가 돌려 봤다는 뜻이고 "적합" 은 기준에 비추어 판정했다는 뜻인데, 결정 규칙 없이 "적합" 을 쓰면 없는 판정을 한 것이 된다.
그리고 세 번째와 네 번째를 구분하는 것이 검수에서 갈린다. "해당 없음" 은 사전에 범위 밖이라는 뜻이고, "미수행" 은 범위 안인데 못 했다는 뜻이다. 후자를 "해당 없음" 으로 적으면 범위를 조용히 줄인 것이 된다.
판정 기준이 아직 없을 때 QA가 하는 일
실무에서는 기준이 없는 상태로 시험 의뢰가 오는 경우가 더 많다. 요구 문서에 "빠르게 동작할 것" 같은 문장만 있다. 그때 QA가 할 일은 셋이다.
| 순서 | 하는 일 |
|---|---|
| 1 | 기준을 제안한다 — 근거와 함께. 같은 제품군의 기존 값·사용자 영향 |
| 2 | 결정 규칙을 함께 제안한다 — 단순 수용인지 가드밴드인지 |
| 3 | 합의를 문서에 남긴다 — 누가 언제 승인했는지 |
2번이 빠지면 1번이 무의미해진다. "1.5초 이내" 만 합의하고 경계 처리를 안 정하면 1.49초에서 다시 논쟁이 시작된다.
그리고 기준 제안을 QA가 하는 것이 유리하다. 제안하지 않으면 발주처나 기획이 정하게 되고, 그때 측정 가능성을 고려하지 않은 기준이 나온다 — "체감상 빠를 것" 같은 문장은 판정이 불가능하다.
합격선 자체를 누가 정하는가의 원칙은 모듈 30 레슨 5에서 다뤘다. 여기서 더할 것은 QA가 제안자가 되는 쪽이 낫다는 실무 판단이다.
경계에서 의견이 갈리는 것은 사전 합의로만 막힌다
판정 분쟁은 거의 전부 경계에서 일어난다. 그리고 사후에 해결할 방법이 사실상 없다 — 양쪽 모두 자기 해석에 근거가 있기 때문이다.
| 사후에 나오는 주장 | 반박이 어려운 이유 |
|---|---|
| "1.49초는 1.5초 이내다" | 산술적으로 맞다 |
| "측정 오차를 감안하면 초과일 수 있다" | 측정에 오차가 있는 것도 맞다 |
| "평균은 통과인데 95백분위는 초과다" | 어느 통계량인지 안 정했다 |
| "3회 중 2회 통과면 통과다" | 반복 판정 규칙이 없다 |
네 주장 모두 사전에 한 줄로 막힌다. 그래서 결정 규칙은 시험 전에 적는 문서이고, 시험 후에 적으면 유리한 쪽으로 고른 것이 된다 (모듈 31 레슨 4의 "대표값을 시험 전에 정한다" 와 같은 이유다).
실무적으로 가장 짧은 해법은 판정 기준 칸을 네 줄로 고정하는 것이다.
기준값 응답 시간 1.5초 이내
통계량 95백분위 (평균 아님)
반복·판정 3회 측정, 전 회차 충족 시 적합
경계 처리 측정불확도를 고려하지 않는 단순 수용
(근거: 발주처 합의 2026-09-14, 담당자 ○○○)마지막 줄의 "근거" 가 분쟁을 끝낸다. 규칙 자체보다 합의 사실이 기록되어 있는 것이 힘을 갖는다.
사례 — 1.49초가 두 번 뒤집힌 성적서
성능 시험 성적서에 기준 1.5초, 측정 1.49초, 판정 적합이 적혀 발행 됐다. 결정 규칙 칸은 비어 있었다.
| 시점 | 무슨 일 |
|---|---|
| 발행 | 적합. 아무도 문제 삼지 않았다 |
| 검수 | 발주처가 "오차 범위를 보면 초과 가능" 으로 이의 제기 |
| 1차 회신 | 우리가 "단순 수용 기준" 이라고 설명 → 문서에 없다는 지적 |
| 재협의 | 결정 규칙을 사후에 정하려 하자 양쪽 해석이 충돌 |
| 결론 | 재시험(가드밴드 적용). 측정 1.41초로 적합 재확인 |
재시험에 2주가 걸렸고, 제품은 처음부터 문제가 없었다. 비용 전부가 빈 칸 하나에서 나왔다.
흥미로운 점은 재시험 결과가 더 나빴을 수도 있었다는 것이다. 가드밴드를 적용하면 1.49초는 부적합이 되고, 그때는 제품 수정이 필요했다. 결정 규칙을 안 정하고 발행한 성적서는 운에 걸린 성적서였던 셈이다.
바꾼 것은 양식 한 곳이었다 — 판정 기준 칸을 위 네 줄 구조로 고정하고 결정 규칙이 비면 발행하지 않는 규칙을 세웠다. 그 뒤 성적서 여섯 건에서 판정 이의가 0건이 됐다.
교훈이 셋이다.
- 빈 칸은 "해당 없음" 이 아니라 "정해지지 않음" 이다 — 읽는 사람은 자기 해석으로 채운다
- 결정 규칙을 사후에 정할 수는 없다 — 양쪽 해석이 각자 근거를 갖고 충돌한다
- 규칙보다 합의 기록이 분쟁을 끝낸다 — 어느 규칙이든 언제 누가 합의했는지가 적혀 있으면 논쟁이 짧다
실무에서 왜 필요한가
판정 기준이 사후에 문제를 일으키는 방식은 거의 정해져 있다.
첫째, 기준 근처의 값이 나왔을 때다. 여유 있게 통과하거나 확실히 실패하면 아무도 규칙을 묻지 않는다. 1.49초 같은 값이 나오는 순간 "이게 왜 적합입니까"라는 질문이 온다. 그때 규칙이 사전에 문서화되어 있느냐가 대응의 전부다. 사후에 규칙을 정하면 그것이 결과에 맞춰 정한 규칙이라는 의심을 피할 수 없다.
둘째, 재시험 결과가 다를 때다. 같은 제품을 다시 재서 1.53초가 나오면 앞의 판정이 흔들린다. 반복 측정과 결정 규칙이 있었으면 "산포 범위 안의 변동"으로 설명되지만, 단발 측정이었으면 앞뒤 성적서가 모순되는 것으로만 보인다.
셋째, 기준의 출처가 불분명할 때다. "1.5초"가 어디서 왔는지 — 계약서인지, R&D 과제계획서인지, 규격인지, 담당자 감각인지 — 를 성적서에 적어두지 않으면 그 기준의 정당성을 방어할 수 없다. 모듈 25 레슨 3에서 배운 "목표치의 출처를 적어라"가 성적서 맥락에서 그대로 요구된다.
사내 QA 맥락에서도 같다. CI의 성능 게이트가 "빌드가 느려졌다"고 실패를 띄울 때, 임계값과 판정 규칙이 문서화되어 있지 않으면 팀은 게이트를 믿는 대신 꺼버린다. 판정 규칙을 밝히는 일은 결국 그 판정을 신뢰하게 만드는 일이다.
채용시장에서의 위치
시험기관 시험원 채용에서 이 주제는 기술 면접의 단골이다. "측정값이 기준에 아슬아슬하게 걸릴 때 어떻게 판정합니까"라는 질문은 결정 규칙을 아는지 모르는지를 한 번에 가른다. 모른다고 답이 안 나오는 것은 아니지만, "사전에 합의한 결정 규칙에 따릅니다. 단순 수용인지 가드밴드인지는 계약 검토 단계에서 정하고 성적서에 명시합니다"라고 답하는 지원자는 드물다.
제품사 QA 쪽에서는 인수 기준을 협상하는 자리 에서 이 개념이 쓰인다. 발주처가 "응답시간 1.5초 이하"라고만 적은 RFP를 받았을 때, 계약 전에 "p95입니까 평균입니까, 몇 회 측정의 무엇입니까, 한 번이라도 넘으면 부적합입니까"를 되묻는 사람은 프로젝트 하나를 구한다.