개념
현장평가가 보는 것은 문서가 아니다
레슨 1~7 로 문서 체계, 불확도, 기록, 부적합 관리, 성적서 서식, 인정범위를 갖췄다고 하자. 현장평가에서 떨어지는 시험소는 그 문서가 없는 곳이 아니다. 문서는 훌륭한데 문서대로 일하지 않는 곳 이다.
평가사의 작업 방식이 그 점을 겨냥한다. 문서 심사는 사전에 끝내 놓고 오고, 현장에서는 "적힌 대로 되고 있는가" 를 본다. 그 확인 수단이 입회시험(witness test) 이다. 실제 시험을 처음부터 끝까지 수행하는 것을 옆에서 지켜본다.
그래서 현장평가 준비의 목표는 문서를 더 쓰는 것이 아니다. 문서와 실제 작업을 일치시키고, 불일치가 있다면 평가 전에 스스로 찾아내는 것 이다. 그 찾아내는 작업이 이 레슨의 주제다.
입회시험에서 평가사가 실제로 보는 것
입회시험은 "시험을 잘하는지" 를 보는 자리가 아니다. 소프트웨어 시험소의 입회시험에서 평가사의 시선이 머무는 지점은 대개 여덟 곳이다.
| 보는 지점 | 확인하려는 것 |
|---|---|
| 시험 전 준비 | 의뢰 범위와 시험 항목이 맞물려 있는가, 절차서를 꺼내 보는가 |
| 환경 확인 | 기재된 환경이 실제 환경과 같은가, 그것을 지금 확인 하는가 |
| 절차 준수 | 절차서 단계를 따르는가, 건너뛰거나 순서를 바꾸는가 |
| 기록 시점 | 측정값을 그 자리에서 적는가, 나중에 옮겨 적는가 |
| 판정 | 기준값·결정 규칙을 적용하는가, 감으로 판단하는가 |
| 이상 상황 처리 | 예상과 다른 결과가 나왔을 때 무엇을 하는가 |
| 자격·권한 | 이 사람이 이 시험을 할 자격 기록이 있는가 |
| 장비·도구 | 사용 도구의 버전·설정이 기록과 맞는가, 점검 주기가 지켜지는가 |
네 번째와 여섯 번째가 가장 자주 부적합으로 이어진다.
기록 시점 — 측정값을 종이나 화면에 바로 적지 않고 "나중에 정리" 하는 습관은 거의 모든 시험소에 있다. 평가사는 이것을 원자료 관리의 문제 로 본다. 레슨 4 에서 다룬 원자료 요건이 실제로 지켜지는지가 여기서 드러난다.
이상 상황 처리 — 평가사가 종종 일부러 이상 상황을 만들거나 가정해 묻는다. "지금 이 값이 기준을 살짝 벗어났다면 어떻게 하십니까." 여기서 "다시 돌려 보겠습니다" 라고 답하면 문제가 된다. 재시험의 조건과 절차가 문서에 있고 그것을 따른다고 답해야 한다. 레슨 5 의 부적합 관리와 레슨 6 의 판정 서식이 여기서 이어진다.
질문은 세 겹으로 좁혀 들어온다
평가사의 질문에는 패턴이 있다. 알아 두면 당황하지 않는다.
1겹 — 사실 확인. "이 시험의 절차서는 어느 문서입니까." "이 값은 어디에 기록됩니까." 답은 문서를 가리키는 것 이다. 말로 설명하면 1겹을 통과하지 못한다.
2겹 — 근거 확인. "이 판정 기준은 어디서 왔습니까." "이 환경 구성을 선택한 근거가 있습니까." 답은 규격·의뢰 문서·합의 기록 중 하나를 가리키는 것이다. "관행입니다" 는 2겹에서 걸린다.
3겹 — 일관성 확인. "다른 의뢰에서도 같은 방식으로 하십니까." "최근 3건을 보여 주실 수 있습니까." 이것이 가장 어렵다. 한 건은 잘해도 여러 건이 다르면 체계가 없다는 뜻이기 때문이다.
3겹이 왜 결정적인가. 인정의 대상은 시험 한 건이 아니라 시험소의 체계 다. 같은 시험을 세 사람이 하면 같은 결과가 나오는가, 작년 성적서와 올해 성적서의 판정 방식이 같은가. 평가사는 표본을 의도적으로 흩어서 고른다 — 최근 것과 오래된 것, 수행자가 다른 것, 결과가 부적합이었던 것.
그래서 모의 평가에서도 표본을 흩어서 뽑아야 의미가 있다. 가장 잘 정리된 건을 골라 연습하면 실제 평가에서 아무 도움이 되지 않는다.
모르는 것을 답하는 방법
평가 현장에서 가장 많이 망치는 지점이 이것이다. 모르는 질문을 받았을 때 세 가지 반응이 나온다.
최악 — 추측해서 답한다. "아마 그렇게 되어 있을 겁니다." 평가사가 그 자리에서 확인하면 틀린 답이 되고, 그 순간 다른 모든 답의 신뢰도가 떨어진다. 한 번의 추측 답변이 평가 전체의 분위기를 바꾼다.
나쁨 — 모른다고만 한다. "제 담당이 아닙니다." 사실일 수 있지만, 체계가 사람에게 연결되어 있지 않다는 인상을 준다.
좋음 — 확인 경로를 제시한다. "그 부분은 품질관리자가 담당합니다. 지금 확인해서 말씀드리겠습니다" 또는 "절차서 몇 장에 있을 것으로 기억하는데, 문서를 열어 확인하겠습니다." 그리고 실제로 확인해 돌아온다.
세 번째가 좋은 답인 이유는 그것이 체계가 작동하는 모습 이기 때문이다. 모든 사람이 모든 것을 외우고 있는 시험소가 좋은 시험소가 아니다. 필요할 때 문서에서 찾아내는 시험소 가 좋은 시험소다. 평가사는 그것을 알고 있다.
실무적으로 준비할 것은 "어디를 보면 나오는지" 의 지도 다. 질문 유형별로 어느 문서의 어느 절을 보면 되는지 정리해 두면, 외우지 않고도 1겹·2겹을 통과한다.
현장평가의 하루 흐름
구체적 일정과 운영 방식은 인정기구와 평가 종류(최초·갱신·정기·확대) 에 따라 다르다. 정확한 절차, 통보 방식, 기한, 부적합 등급 구분과 조치 기한은 인정기구의 공개 규정과 평가 통보 문서에서 확인한다(원문 확인). 외운 일정으로 준비하면 어긋난다.
공통적으로 준비해 둘 것의 성격은 이렇다.
- 시작 회의 — 평가 범위와 일정을 서로 확인하는 자리. 시험소가 준비한 것을 설명할 기회이기도 하다
- 문서·기록 확인 — 평가사가 표본을 골라 기록을 추적한다. 요청이 오면 빠르게 꺼내 올 수 있는지 가 평가된다. 찾는 데 20분이 걸리면 그 자체가 신호다
- 입회시험 — 위에서 다룬 내용
- 인원 면담 — 수행자, 품질관리자, 기술책임자. 같은 질문을 다른 사람에게 하는 경우가 있고, 답이 다르면 문제가 된다
- 종료 회의 — 발견 사항을 통보받는 자리. 여기서의 대응이 중요하다(아래)
기록을 꺼내 오는 속도 가 과소평가되는 항목이다. 평가사가 "작년 4월의 그 의뢰 건 원자료를 볼 수 있을까요" 라고 했을 때 걸리는 시간이 곧 기록 관리의 실태다. 모의 평가에서 반드시 이것을 재 봐야 한다.
발견 사항을 통보받을 때
종료 회의에서 발견 사항을 들을 때 해야 할 것과 하지 말아야 할 것이 분명하다.
해야 할 것
- 사실 관계만 확인한다. "그 건이 몇 번 성적서인지 확인해도 될까요." 어느 기록의 무엇을 보고 그렇게 판단했는지를 정확히 파악한다
- 지적 내용을 그 자리에서 적는다. 나중에 기억으로 복원하면 범위가 어긋난다
- 범위를 확인한다. 한 건의 문제인지 체계의 문제로 보는지. 이것이 시정조치의 범위를 정한다
하지 말아야 할 것
- 현장에서 변론하지 않는다. "그건 이런 사정이 있어서..." 는 지적을 바꾸지 못하고 시간만 쓴다. 이견이 있으면 정식 절차로 제기 한다. 이의 제기 절차와 기한은 인정기구 규정에서 확인한다(원문 확인)
- 즉석에서 조치를 약속하지 않는다. "바로 고치겠습니다" 가 아니라 근본 원인을 분석한 뒤 조치를 설계한다. 레슨 5 에서 다룬 그대로다
- 문서를 평가 중에 고치지 않는다. 가장 심각한 실수다. 지적을 받고 그 자리에서 기록을 수정하거나 보완하는 행위는 기록 조작 으로 다뤄질 수 있다
마지막 항목을 조직 전체가 알고 있어야 한다. 평가 중 선의로 문서를 "정리" 하려는 사람이 나올 수 있고, 그것이 가장 큰 사고로 번진다.
모의 평가를 스스로 돌리는 방법
내부심사(레슨 5) 와 모의 현장평가는 목적이 다르다.
| 내부심사 | 모의 현장평가 | |
|---|---|---|
| 목적 | 체계가 요구사항을 충족하는지 | 평가 당일을 견딜 수 있는지 |
| 방식 | 문서·기록 중심 | 입회시험 시연과 질의응답 중심 |
| 평가자 | 내부 심사원 | 평가사 역할을 맡은 사람 |
| 산출물 | 부적합·관찰 사항 | 당일 운영의 약점 목록 |
모의 평가를 설계할 때의 원칙 다섯 가지다.
1) 평가사 역할을 해당 업무와 무관한 사람이 맡는다. 같은 팀 사람이 하면 암묵적 지식을 공유하고 있어 질문이 좁혀지지 않는다. 다른 부서 사람이나 외부 경험자가 낫다.
2) 표본을 흩어서 고른다. 최근 것, 오래된 것, 수행자가 다른 것, 부적합이 있던 것. 가장 잘된 건을 고르면 연습 효과가 없다.
3) 시간을 잰다. 기록 요청에서 제시까지, 질문에서 답변까지. 숫자로 재야 개선 여부를 알 수 있다.
4) 실제로 시험을 수행한다. 설명으로 대체하지 않는다. 입회시험 시연이 모의 평가의 핵심이고, 거기서만 드러나는 습관이 있다.
5) 결과를 부적합으로 등록한다. 모의 평가에서 찾은 문제를 "참고 사항" 으로 두면 고쳐지지 않는다. 내부 부적합으로 등록해 시정조치 절차를 태운다. 그러면 실제 평가 때 "이 문제를 우리가 먼저 찾아 조치했다" 는 기록이 남고, 그 기록 자체가 체계가 작동한다는 증거가 된다.
다섯 번째가 모의 평가의 가장 큰 소득이다. 스스로 찾아 고친 이력은 평가에서 약점이 아니라 강점 으로 읽힌다.
평가 전 2주 — 할 일과 하면 안 되는 일
할 일
- 모의 평가에서 찾은 문제의 시정조치 완료 여부 확인
- 기록 접근 경로 정비(어디에 무엇이 있는지, 누가 꺼내 오는지)
- 질문 대응 지도 갱신(질문 유형 → 문서·절 → 담당자)
- 인정범위 대조 — 우리가 신청·보유한 범위와 실제 수행 시험이 맞는지(레슨 7)
- 인원별 자격·교육 기록 최신화
- 사용 도구의 점검·설정 기록 최신화
하면 안 되는 일
- 없던 기록을 만들어 채우기. 소급 작성은 발견되면 가장 무거운 문제가 된다. 빠진 기록은 빠졌다는 사실과 그 사유를 기록 하는 쪽이 낫다
- 문서를 대규모로 개정하기. 평가 직전 개정은 "실제로 그렇게 일한 이력이 없는 문서" 를 만든다. 평가사는 개정 이력을 본다
- 평가 당일에만 다르게 일하기. 평소와 다른 절차로 시연하면 질문 3겹(일관성) 에서 드러난다
이 세 가지는 모두 "평가를 통과하려는 행동" 이 오히려 평가를 망치는 경우다. 현장평가의 논리는 단순하다 — 평소대로 일하는 것을 보여 주는 자리다.
실무에서 왜 필요한가
시험소에서 현장평가는 조직 전체가 멈추고 대응하는 사건 이다. 결과가 인정 유지 여부를 정하고, 부적합이 많으면 조치 기한 동안 추가 작업이 쏟아진다. 그리고 대부분의 시험소에서 이 준비는 품질관리자 한 사람에게 쏠린다.
그 쏠림이 문제를 만든다. 품질관리자는 문서를 알지만, 평가사가 보는 것은 수행자의 손 이다. 문서를 모르는 수행자가 입회시험에서 절차서를 꺼내 보지 않고 기억으로 시험하면, 문서가 아무리 좋아도 부적합이 나온다.
그래서 이 레슨의 실질적 가치는 준비를 조직으로 분산하는 방법 에 있다. 모의 평가는 그 분산 장치다 — 수행자가 입회시험을 시연하고, 질문을 받아 보고, 기록을 꺼내 와 보면서, 문서와 작업 사이의 틈을 자기 손으로 발견한다. 그 경험 한 번이 문서 교육 열 번보다 효과가 크다.
채용 관점에서는 이 영역이 시험소 품질관리자·기술책임자 경로의 핵심 역량 이다. 공고에는 "KOLAS 인정 유지", "ISO/IEC 17025 품질시스템 운영", "내부심사", "평가 대응" 같은 말로 나타난다. 면접에서 "현장평가를 몇 번 겪었고 어떤 부적합을 받았으며 어떻게 조치했는가" 는 거의 반드시 나오는 질문이고, 스스로 모의 평가를 설계해 돌려 본 경험 은 그 질문에 답할 재료가 된다.
그리고 이 역량은 시험소 밖에서도 쓰인다. 인증 심사, 고객 감사, 감리 대응은 모두 같은 구조다 — 문서대로 일하는 것을 보여 주는 자리. 모듈 56 레슨 3 의 감리 대응과 모듈 63 레슨 6 의 보안 평가 대응이 같은 원리를 다룬다.
채용시장에서의 위치
이 레슨이 겨냥하는 자리는 공인시험소·시험인증기관의 품질관리자와 기술책임자, 그리고 사내 시험소를 운영하는 제조·IT 기업의 품질 조직 이다.
이 자리의 특징은 대체가 어렵다 는 점이다. 인정 유지는 한 번 끊기면 되돌리는 데 오래 걸리고, 그 위험을 아는 조직은 경험자를 붙잡는다. 반대로 진입에는 인정 제도 전체를 아는 것 이 요구되고, 그것이 공급을 제한한다.
경쟁력이 되는 것은 셋이다. 첫째, 문서와 작업의 틈을 찾아내는 능력 이다. 문서를 쓰는 사람은 많고, 쓴 문서대로 일하고 있는지 확인하는 사람은 적다. 둘째, 평가 대응의 태도를 조직에 심는 능력 이다. 추측하지 않고 확인 경로를 제시하는 것, 현장에서 변론하지 않는 것, 평가 중 문서를 고치지 않는 것 — 이 세 가지를 조직이 알고 있으면 평가 결과가 달라진다. 셋째, 스스로 찾아 조치한 이력을 쌓는 능력 이다. 모의 평가에서 찾은 문제를 내부 부적합으로 등록해 조치한 기록은 평가에서 강점으로 읽힌다.
자격·이력 축에서는 내부심사원 교육 이수 와 ISO/IEC 17025 관련 교육이 기본 요건으로 쓰이고, ISTQB CTFL 은 소프트웨어 시험소에서 시험 설계의 공통 언어로 쓰인다. 다만 최종적으로 평가되는 것은 "평가를 받아 본 경험" 이다. 이 레슨의 실습 과제는 그 경험이 없는 상태에서 모의로 한 번 겪어 보는 방향으로 설계했다.