개념
두 방향의 증명
시험소가 "우리 숫자는 믿을 수 있다"고 주장하는 방법은 두 가지뿐이다.
- 안에서 증명한다 — 측정에 개입하는 오차 요인을 하나씩 세어 결과의 폭을 계산한다. 이것이 측정불확도(7.6)다
- 밖과 비교해 증명한다 — 같은 시료를 다른 시험소들과 함께 재고 내 결과가 어디쯤인지 본다. 이것이 숙련도시험(7.7.2)이다
둘은 대체 관계가 아니다. 불확도는 내 계산이므로 요인을 하나 빠뜨리면 "작고 아름다운 불확도"가 나오는데, 숙련도시험은 바로 그 자기기만을 외부에서 잡아낸다. 반대로 숙련도시험만 통과해도 개별 성적서에 적을 숫자의 폭은 여전히 계산해야 한다. 한쪽이 다른 쪽의 검산 이다.
모듈 31 레슨 3에서 불확도를 이미 다뤘지만 각이 달랐다. 거기서는 "기준값 1.5초에 측정값 1.49초가 나왔을 때 어떻게 판정하는가" — 즉 이미 있는 불확도를 결정 규칙에 넣는 이야기였다. 이 레슨은 그 불확도를 처음부터 만들어 내는 쪽 이다.
7.6이 실제로 요구하는 것
조항을 뜯어 보면 요구는 세 겹이다.
| 조항 | 요구 |
|---|---|
| 7.6.1 | 측정불확도에 기여하는 요인을 식별 한다. 시료채취에서 오는 것까지 포함해 유의한 기여를 모두 적절한 방법으로 고려한다 |
| 7.6.2 | 교정을 수행하는 기관은 모든 교정 에 대해 불확도를 평가한다 |
| 7.6.3 | 시험을 수행하는 기관도 불확도를 평가한다. 엄밀한 평가가 방법상 곤란하면 이론적 원리나 실무 경험에 근거한 추정 을 한다 |
여기서 실무자가 붙잡아야 할 문장은 7.6.3의 뒷부분이다. "엄밀하게 못 하니 안 한다"는 선택지는 없고, "근거를 적은 추정"은 허용된다. 소프트웨어 시험에서 불확도를 다루는 모든 실무가 이 한 줄 위에 서 있다.
조항에는 예외도 달려 있다. 잘 확립된 시험방법이 주요 불확도원의 한계값과 결과 표현 형식을 규정하고 있다면, 그 방법과 보고 지침을 따르는 것으로 7.6.3을 충족한 것으로 본다. 또 특정 방법의 불확도가 이미 확립·검증되어 있고 임계 영향 인자가 통제되고 있음을 입증할 수 있다면, 결과마다 매번 다시 평가할 필요는 없다. 즉 "매 성적서마다 계산"이 아니라 "방법마다 한 번 세우고 유지"가 정상 운영이다.
불확도 예산표 — 요인을 세어 표로 만든다
추정의 표준 절차는 GUM(ISO/IEC Guide 98-3, JCGM 100)에서 온 네 단계다. 국내에서는 KOLAS-G-001(측정결과의 불확도 추정 및 표현)과 시험 분야용 KOLAS-G-004가 이 절차를 옮겨 놓았다.
1. 모델 세우기 결과 y 가 어떤 입력량들 x1…xn 으로 계산되는지 식으로 쓴다
2. 성분 평가 각 입력량의 표준불확도 u(xi) 를 구한다
Type A — 반복 측정의 통계에서 (표준편차 / √n)
Type B — 그 외 근거에서 (성적서·규격·분포 가정)
3. 합성 감도계수를 곱해 제곱합의 제곱근으로 합친다 → 합성표준불확도 uc
4. 확장 포함계수 k 를 곱한다. 보통 k=2 (신뢰수준 약 95%) → UType A와 Type B의 구분은 "통계로 구했는가"일 뿐, 질의 우열이 아니다. 장비 교정성적서에 적힌 불확도를 가져다 쓰면 Type B이고, 그것이 반복 측정 10회보다 정확한 경우도 흔하다.
실제 산출물은 불확도 예산표(uncertainty budget) 한 장이다. 응답시간 측정을 예로 들면 이런 모습이 된다.
| 성분 | 근거 | 형태 | 분포 | 표준불확도 | 기여 |
|---|---|---|---|---|---|
| 반복성 | 동일 조건 30회 측정의 표준편차 | A | 정규 | s/√30 | 큼 |
| 시각 분해능 | 측정 스크립트의 타이머 해상도 | B | 균일 | 반폭/√3 | 작음 |
| 부하 생성기 오차 | 도구 문서·사전 검증 결과 | B | 균일 | 반폭/√3 | 중간 |
| 환경 변동 | 가상화 호스트 경합 (반복 조건 간 차이) | A | 정규 | 재현성 성분 | 큼 |
| 시료(빌드) 차이 | 같은 버전 재배포 간 차이 | A/B | – | 사전 실험 | 조건부 |
| 합성표준불확도 | 제곱합의 제곱근 | uc | |||
| 확장불확도 | k = 2 | U = 2·uc |
소프트웨어 시험에서 이 표를 만들 때 가장 자주 빠뜨리는 성분이 네 번째 줄이다. 반복성(같은 조건에서 연달아 재기)만 보면 불확도가 아주 작게 나오는데, 날을 달리해 다시 재면 값이 그보다 훨씬 많이 움직인다. 전자가 반복성(repeatability), 후자가 재현성(reproducibility) 이고, 성적서에 적힐 폭을 지배하는 것은 대개 후자다. 모듈 31 레슨 2에서 클라우드 환경의 변동성을 다룬 이유가 여기서 숫자로 나타난다.
실무 감각: 하루 안에 30회 반복해 얻은 표준편차만으로 불확도를 세우면, 그 시험소는 자기 환경의 하루치 운을 측정능력으로 착각 하고 있는 것이다. 최소한 날짜·시험원·재배포를 바꾼 조건 간 차이를 한 성분으로 넣어야 한다.
불확도를 성적서에 적을 때와 적지 않을 때
7.8.3은 시험성적서에 불확도를 기재해야 하는 경우를 셋으로 정한다.
- 결과의 유효성이나 적용에 관련이 있을 때
- 고객이 요구할 때
- 불확도가 규격 한계에 대한 적합 여부에 영향을 줄 때
세 번째가 모듈 31 레슨 3의 결정 규칙과 맞물리는 지점이다. 측정값이 한계에서 멀면 불확도가 판정을 바꾸지 못하니 기재가 선택이 되지만, 한계 근처면 불확도 없이는 판정 자체가 성립하지 않는다. KOLAS-G-002(의사결정 규칙 및 적합성 진술에 관한 지침) 가 이 처리를 규정하고 있으니, 결정 규칙을 문서화할 때 함께 열어야 한다.
7.7 — 결과 유효성 보증은 메뉴가 넓다
숙련도시험은 7.7의 한 갈래일 뿐이다. 조항은 내부 모니터링 수단을 열 가지 넘게 열거하며, 그중 적절한 것을 계획해 쓰라고 요구한다.
7.7.1 (내부) 표준물질·품질관리물질 사용 / 교정된 대체 장비 / 장비 기능 점검 /
관리도를 쓰는 점검 표준 / 장비 중간 점검 / 동일·상이 방법 반복 시험 /
보관 시료 재시험 / 항목 간 결과 상관 확인 / 보고 결과 검토 /
시험소 내 비교 / 블라인드 시료 시험
7.7.2 (외부) 숙련도시험 참가 / 숙련도시험 이외의 시험소 간 비교
7.7.3 모니터링 데이터를 분석해 사전 정의된 기준을 벗어나면 조치한다.
잘못된 결과가 보고되는 것을 막아야 한다소프트웨어 시험소로 옮기면 이 목록이 낯설지 않다. 기준 데이터셋(골든셋)을 정기적으로 다시 돌려 결과가 같은지 보는 것 이 관리도를 쓰는 점검 표준에 해당하고, 같은 시료를 다른 시험원이 재보는 것 이 시험소 내 비교다. 회귀 테스트와 원리가 같다 — 대상이 제품이 아니라 우리 측정 절차 라는 점만 다르다.
마지막 7.7.3의 문장이 무겁다. 모니터링 결과가 기준을 벗어났을 때 조치해야 하는 대상은 장비가 아니라 아직 나가지 않은 성적서 다. 여기서 멈추지 못하면 부적합 업무(7.10)로 넘어간다.
숙련도시험은 어떻게 운영되는가
숙련도시험(PT)은 운영기관이 참가 시험소들에게 같은 시료를 보내고, 보고된 결과를 통계로 평가해 돌려주는 체계다. 운영기관 자체가 ISO/IEC 17043 (2023년 개정)으로 인정을 받으며, 평가 통계는 ISO 13528:2022 가 규정한다.
평가의 뼈대는 단순하다.
점수 = (내 결과 xi − 부여값 xpt) / 정규화 인자정규화 인자로 무엇을 쓰느냐에 따라 점수의 이름과 의미가 달라진다.
| 점수 | 정규화 인자 | 무엇을 묻는가 |
|---|---|---|
| z | 숙련도평가용 표준편차 spt | 내 결과가 참가자 집단의 산포 안에 있는가 |
| z′ | spt 와 부여값 불확도 u(xpt) 를 합친 값 | 부여값 자체가 불확실할 때 쓴다 |
| ζ (제타) | u(xpt) 와 내가 보고한 불확도 u(xi) | 내 불확도 주장까지 맞는가 |
| En | 두 확장불확도의 조합 (약 95% 구간) | 교정기관 비교에서 주로 쓴다 |
ISO 13528:2022 9.4.2의 해석 기준은 z·z′·ζ에 공통으로 적용된다.
| 값 | 판정 | 성격 |
|---|---|---|
| |점수| ≤ 2.0 | 만족(satisfactory) | 수용 |
| 2.0 < |점수| < 3.0 | 의심(questionable) | 경고 신호 |
| |점수| ≥ 3.0 | 불만족(unsatisfactory) | 조치 신호 |
En은 기준이 다르다 — |En| < 1 이 만족이다. 두 확장불확도를 합쳐 정규화하기 때문에 1을 넘는다는 것은 곧 불확도 구간이 겹치지 않는다는 뜻이다.
두 번째 행과 네 번째 행에 실무의 함정이 있다.
- 부여값 불확도가 크면 z가 아니라 z′를 써야 한다. 기준은 u(xpt)가 spt의 0.3배를 넘는 경우다. 이 판단은 운영기관이 하지만, 참가자도 결과 보고서에서 어떤 점수가 쓰였는지 확인해야 한다
- ζ 점수가 불만족인 경우의 해석은 두 갈래다. 측정값이 틀렸을 수도 있고, 측정값은 맞는데 내가 보고한 불확도가 비현실적으로 작았을 수도 있다. 후자가 이 레슨 전반부와 직결된다 — 불확도를 과소평가한 시험소는 z는 통과하고 ζ에서 걸린다
KOLAS가 요구하는 참가 실적과 불만족 처리
제도 쪽 요구는 KOLAS-R-007에 있다. 실무자가 외워 둘 만한 숫자는 이 정도다.
| 항목 | 요구 |
|---|---|
| 신규 인정 신청 | 공인시험기관은 대분류별 1개 항목 이상 만족 결과. 교정기관은 중분류별 1개 항목 이상 |
| 실적의 나이 | 신청일로부터 1년 이내 의 참가 실적 |
| 유지 주기 | 공인시험기관·교정기관은 중분류별 3년에 1회 이상. 메디컬시험기관은 대분류별 연 2회 이상 |
| 범위 확대 | 중분류별 1개 항목 이상. 다만 시험방법의 유사성이 없는 소항목은 별도 실적 필요 |
| 외부 공급자 활용 | 그 공급자의 참가 실적까지 확인해야 하고 평가 시 검토된다 |
| 적합한 PT 스킴이 없을 때 | 승인을 받아 시험소 간 비교시험 또는 측정심사로 대체 |
불만족 결과가 나왔을 때의 절차는 기한이 박혀 있다.
통보 → 원인 조사·분석 → 1개월 이내 시정조치 완료 → 운영기관 제출 →
인정기구의 적절성 검토
시정조치에 포함해야 할 것
① 파악된 잠재 원인
② 시정조치 내용
③ 효과를 확인한 증빙 (예: 표준물질을 이용한 재시험 결과)여기서 셋을 놓치면 안 된다.
- 시정조치가 적절함이 확인될 때까지 그 참가는 실적으로 인정되지 않는다. 즉 불만족을 방치하면 참가 주기 요건도 함께 깨진다
- 1개월 안에 결과를 낼 수 없으면 시정조치 계획서 로 대신할 수 있다. 다만 확인될 때까지 실적 불인정은 유지된다
- 중분류 기준 2회 연속 불만족 이면 인정기구가 현장평가를 실시할 수 있고, 그 비용(평가사 수당)은 해당 기관이 부담한다
'의심(questionable)' 결과는 불만족이 아니지만 손 놓을 수 없다. 자체 시정조치를 실시해야 하고, 그 적절성은 차기 평가에서 평가반이 확인 한다. 부적합이나 유의 사항으로 지적될 수 있다는 뜻이다.
그리고 제재의 층위도 알아 둘 필요가 있다. 참가 실적을 충족하지 못하거나, 불만족 통보 후 기간 내 개선 조치를 하지 않은 경우는 KOLAS의 부적합 등급에서 '중대한 사항' 으로 분류된다. 숙련도시험 스킴 결과를 두고 참가 기관끼리 공모한 것이 발견되면 '치명적 사항' 이다.
실무에서 왜 필요한가
시험소 실무에서 이 두 주제는 "매년 돌아오는 숙제"의 형태로 나타난다. 불확도 예산표는 방법을 새로 올릴 때마다, 숙련도시험은 주기가 찰 때마다. 그래서 준비가 안 된 기관은 갱신평가 6개월 전에 밀린 숙제를 몰아 하다가 일정을 놓친다. 참가 주기를 인정범위 중분류별로 표로 관리하는 것 만으로 이 사고는 거의 사라진다.
제품사 QA에게는 다른 방식으로 유용하다. 시험기관에서 온 성적서의 불확도 값이 비현실적으로 작으면, 그 기관이 반복성만으로 계산했을 가능성이 있다. "이 불확도에 재현성 성분이 포함되어 있습니까"라는 질문 한 줄이 성적서의 신뢰도를 가른다.
사내 QA로 옮기면 숙련도시험의 발상 자체가 쓸 만하다. 같은 테스트를 다른 사람이 수행했을 때 같은 판정이 나오는가 — 이것을 한 번도 확인해 본 적 없는 조직이 대부분이다. 탐색적 테스팅의 세션 재현, 결함 심각도 판정의 심사자 간 일치도, AI 판정의 골든셋 재측정이 전부 같은 구조다. 모듈 18b에서 다룬 메타모픽 테스트도 "정답을 모르는 대상을 비교로 검증한다"는 점에서 한 가족이다.
채용시장에서의 위치
불확도 추정은 시험인증기관 경력자 공고에서 가장 자주 보이는 기술 요건 중 하나다. "측정불확도 산출 경험", "CMC 산출" 같은 문구가 그것이다. 소프트웨어·정보통신 분야는 이 능력을 갖춘 인력이 특히 적어서, 할 수 있으면 희소성이 바로 값으로 온다.
숙련도시험 쪽은 품질책임자 직무에 붙는다. 참가 계획 수립, 불만족 결과의 원인 분석과 시정조치, 운영기관·인정기구와의 문서 왕복이 실제 업무다.
면접에서 힘 있는 답변의 형태는 이렇다. "반복성만으로 세운 불확도가 실제보다 3배 작았습니다. 날짜·시험원·재배포를 바꾼 재현성 실험을 넣어 예산표를 다시 만들었고, 확장불확도가 커진 대신 한계 근처 판정에서 가드밴드를 적용하도록 결정 규칙을 고쳤습니다. 다음 숙련도시험에서 ζ 점수가 2.4에서 0.8로 내려갔습니다."