개념
가장 나쁜 선택은 조용히 고치는 것이다
성적서를 발급하고 이틀 뒤, 표 하나에 단위가 잘못 적힌 것을 발견했다. 밀리초를 초로 적었다. 의뢰인은 아직 아무 말이 없다.
이때 가장 흔하고 가장 위험한 대응이 이것이다. 같은 성적서 번호로 파일을 고쳐 "아까 그거 이걸로 보세요"라고 다시 보내는 것.
왜 위험한가.
- 같은 번호의 문서가 두 개 존재하게 된다. 둘 중 어느 것이 진짜인지 증명할 방법이 없다
- 의뢰인이 이미 배포한 앞 버전을 회수할 수 없다. 두 문서가 각각 돌아다닌다
- 나중에 조사가 들어오면 "성적서를 사후에 수정한 이력"으로만 보인다. 선의였다는 사실은 문서 어디에도 없다
ISO/IEC 17025:2017이 이 상황을 별도 조항(7.8.8 성적서의 개정)으로 다루는 이유가 이것이다. 요구는 간단하다. 변경은 명확히 식별되어야 하고, "성적서에 대한 개정(Amendment to Report)"임을 표시한 별도 문서로 발행하거나, 원본을 대체하는 새 문서로 발행해야 한다.
성적서 세계의 원칙은 하나다. 고친 흔적을 지우지 않는다. 지운 흔적은 나중에 반드시 문제가 된다.
오류의 종류부터 나눈다
대응 방식은 오류의 성격에 따라 갈린다. 먼저 분류한다.
| 유형 | 예 | 판정에 영향 |
|---|---|---|
| 표기 오류 | 오탈자, 의뢰인 주소 오기, 페이지 번호 | 없음 |
| 기재 누락 | 환경 항목 일부 누락, 시험일 누락 | 없을 수도, 있을 수도 |
| 전사 오류 | 원자료는 맞는데 성적서 표에 잘못 옮김, 단위 오류 | 있을 수 있음 |
| 측정·수행 오류 | 잘못된 조건으로 시험, 장비 설정 오류 | 있음 |
| 판정 오류 | 측정은 맞는데 결정 규칙 적용을 잘못함 | 있음 |
핵심 질문은 하나다. 이 오류가 판정(적합·부적합)을 바꾸는가.
바꾸지 않는다면 개정본으로 정정하면 된다. 바꾼다면 상황이 다르다 — 이미 나간 성적서를 근거로 의뢰인이 무언가를 했을 수 있다. 계약을 맺었거나, 조달에 제출했거나, 제품을 출시했을 수 있다. 이때는 회수와 통지 가 먼저다.
발견 시점이 비용을 정한다
유형은 무엇을 해야 하는지 를 정하고, 발견 시점은 그 일에 드는 값 을 정한다.
| 발견 시점 | 할 수 있는 일 | 비용 |
|---|---|---|
| 발행 전 | 그냥 고친다. 기록도 필요 없다 | 10분 |
| 제출 후·검수 전 | 개정본 + 통지. 상대가 아직 쓰지 않았다 | 문서 1건 |
| 검수 통과 후 | 회수 요청 + 재검수 협의. 상대 일정이 이미 묶였다 | 상대의 일정 |
| 분쟁 중 | 자유롭게 고칠 수 없다. 정정이 앞 주장의 철회로 읽힌다 | 기록으로만 싸운다 |
두 번째와 세 번째 줄 사이의 격차가 실무의 전부다. 줄이는 방법은 하나뿐이다 — 우리가 먼저 찾는 것. 숨기는 쪽이 가장 비싸고 먼저 알리는 쪽이 가장 싸다. 어떤 말투로 알릴지는 모듈 6 레슨 3 「결함 커뮤니케이션 원칙」 의 원칙이 그대로 쓰인다 — 사람을 가리키지 않고 사실과 다음 행동만 적는다.
정정의 세 가지 형태
실무에서 쓰이는 형태는 셋이고, 무엇을 고치느냐로 갈린다.
① 개정본 (Amendment)
원본은 그대로 두고, "제2026-0142호에 대한 개정 제1호"를 별도 발행.
무엇이 왜 바뀌는지만 적는다.
→ 표기 오류, 소규모 기재 누락
② 대체본 (Revised / 재발행)
새 번호 또는 개정 차수를 붙인 전체 문서를 발행하고,
원본을 무효로 선언한다. 원본 회수를 요청한다.
→ 전사 오류, 판정에 영향을 주는 정정
③ 취소 (Withdrawal)
성적서를 무효화하고 정정본을 내지 않는다.
시험 자체가 유효하지 않았을 때.
→ 측정·수행 오류로 결과를 신뢰할 수 없을 때 → 재시험어느 경우든 문서에 반드시 들어가야 할 것은 세 가지다.
- 원본 식별 — 어느 성적서를 고치는가 (번호·발행일)
- 변경 내용 — 무엇이 무엇으로 바뀌는가 (전·후를 나란히)
- 변경 사유 — 왜 바뀌는가
세 번째가 자주 빠진다. "오기 정정"이라고만 적힌 개정본은 읽는 사람에게 불안을 남긴다. "원자료(2026-09-05 측정 파일) 전사 과정에서 p95 값의 단위를 ms 대신 s로 표기함. 원자료 대조 결과 정정" 정도까지 적으면 오히려 신뢰가 올라간다. 정직한 정정은 문서의 신뢰도를 깎지 않는다. 감춘 정정이 깎는다.
ISO/IEC 17025가 요구하는 처리 절차
인정 시험소가 아니더라도 이 절차는 그대로 쓸 값이 있다. 세 조항이 맞물린다.
| 조항 | 다루는 것 | 요구 |
|---|---|---|
| 7.9 불만(Complaints) | 외부에서 들어온 이의 제기 | 접수·평가·결정을 위한 문서화된 절차. 이해관계자가 요청하면 절차를 제공 |
| 7.10 부적합 업무(Nonconforming work) | 시험소 활동이 절차·요구를 벗어났을 때 | 책임자 지정, 위험 기반 조치, 중대성 평가와 영향 분석, 고객 통지, 업무 재개 승인 |
| 7.8.8 성적서 개정 | 발행된 성적서의 수정 | 변경의 명확한 식별, 개정임을 표시한 문서로 발행 |
7.10의 항목들이 실무에서 어떻게 순서로 풀리는지 보면 이해가 빠르다.
1. 인지 — 오류를 발견한다 (내부 발견 / 고객 클레임)
2. 즉시 조치 — 추가 배포 중단, 관련 진행 시험 검토
3. 중대성 평가 — 판정이 바뀌는가, 다른 성적서에도 같은 원인이 있는가
4. 고객 통지 — 영향이 있으면 반드시. 지연할수록 손해가 커진다
5. 회수·정정 — 개정본 / 대체본 / 취소 중 선택해 발행
6. 원인 분석 — 왜 생겼는가 (사람인가 절차인가 도구인가)
7. 시정 조치 — 재발 방지. 절차·서식·검토 단계 변경
8. 유효성 확인 — 조치가 실제로 작동하는지 이후 건으로 확인3번이 이 절차의 무게중심이다. 같은 원인이 다른 성적서에도 있는가. 전사 실수 하나가 발견됐을 때 그것이 그 건만의 실수인지, 같은 서식이나 같은 스크립트를 쓴 지난 성적서 전부에 있는지를 확인해야 한다. 여기를 건너뛰면 몇 달 뒤 같은 문제가 더 큰 규모로 돌아온다.
클레임이 들어왔을 때 — 첫 대응이 전부다
의뢰인이 "결과가 이상하다"고 연락해 오는 경우, 오류일 수도 있고 아닐 수도 있다. 첫 대응에서 하지 말아야 할 것과 해야 할 것이 분명하다.
| 하지 말 것 | 대신 할 것 |
|---|---|
| 즉시 "저희 시험은 정확합니다" | 무엇을 근거로 이상하다고 판단했는지 묻는다 |
| 즉시 "다시 해드리겠습니다" | 원자료와 성적서를 먼저 대조한다 |
| 구두로만 주고받는다 | 접수 일시·내용·담당자를 기록으로 남긴다 |
| 담당 시험원 혼자 판단한다 | 시험에 관여하지 않은 인원의 검토를 붙인다 |
두 번째 줄이 중요하다. 클레임의 상당수는 시험 오류가 아니라 환경 차이 에서 온다. 앞 레슨에서 본 그 장면이다 — 운영은 데이터 5천만 건인데 시험은 100만 건이었다든가, 성적서는 목 PG 기준인데 실서비스는 실 PG라든가. 환경 절이 잘 쓰여 있으면 이 대조가 30분이면 끝난다.
그래서 클레임 대응의 실제 난이도는 클레임이 들어온 시점이 아니라 성적서를 쓸 때 결정되어 있다. 레슨 1·2를 성실히 한 성적서는 클레임을 사실 확인 절차로 만들고, 부실한 성적서는 클레임을 협상으로 만든다.
네 번째 줄도 짚어둘 만하다. 자기가 한 시험의 오류를 자기가 판정하는 것은 구조적으로 약하다. 17025가 불만 처리에 대해 결정을 내리는 인원이 해당 활동에 관여하지 않았을 것 을 요구하는 취지가 그것이다. 작은 조직이라도 최소한 "검토자는 시험원과 다른 사람"은 지킬 수 있다.
사실 확인에는 순서가 있다
클레임을 받으면 확인할 것이 셋이고, 순서를 지키는 것이 속도를 만든다.
1단계 우리 기록 원자료 → 성적서 표 전사가 맞는가
걸리면 우리 오류다 → 바로 정정 절차
2단계 측정 조건 상대가 본 숫자는 어느 환경·어느 부하에서 나왔는가
갈리면 오류가 아니라 조건 차이다
3단계 상대의 계산 방식 같은 원자료를 상대는 어떻게 집계했는가
갈리면 숫자가 아니라 정의의 문제다가장 많이 나오면서 가장 늦게 발견되는 것이 3단계 다. 같은 숫자를 서로 다르게 계산해 놓고 양쪽 다 자기 계산이 상식이라고 믿는 상황이다.
| 어긋나는 지점 | 우리 쪽 | 상대 쪽 |
|---|---|---|
| 오류율 | 실패 ÷ 총 요청 | 실패 ÷ 성공 응답 |
| 응답시간 집계 구간 | 램프업 제외한 정상 구간 | 측정 파일 전체 |
| 가용성 | 분 단위 다운타임 합 | 실패 호출이 있었던 날 수 |
| 평균 | 전 구간 단순 평균 | 회차별 평균의 평균 |
어느 줄도 누가 틀린 것이 아니다. 정의를 적지 않은 것이 틀린 것이다. 그래서 이런 클레임의 결론은 정정이 아니라 산출식 명시 인 일이 많다 — 다음 성적서부터 분모와 집계 구간을 칸으로 못 박는다.
재계산인가 재시험인가 — 증명 가능성이 가른다
시험 당시의 조건을 기록으로 증명할 수 있으면 재계산으로 끝난다. 증명할 수 없으면 재시험이다.
원자료가 남아 있고 그것이 어느 조건에서 수집됐는지 기록으로 확정되면 집계만 다시 해 정정본을 낸다. 새 측정일이 생기지 않고 사유에 "집계 방식 정정"을 쓸 수 있다. 다음 중 하나라도 걸리면 재계산은 선택지가 아니다.
- 원자료가 없거나 어느 회차의 것인지 특정되지 않는다
- 측정 당시 장비·환경이 의도와 달랐음이 확인됐다 (부하 생성기 절반 동작 등)
- 수집이 조건을 왜곡했다 — 측정 구간이 잘못 잡혔거나 워밍업이 섞였다
세 번째가 어렵다. 숫자는 멀쩡한데 그 숫자가 가리키는 대상이 다른 경우라서다. 모듈 31 레슨 4에서 본 측정 구간·표본 수 기록이 여기서 재계산과 재시험을 가르는 증거가 된다. 기록 비용은 재시험 비용의 보험료 다.
다만 여기까지가 성격 이다. 개정본 번호 체계, 원본 회수 범위, 정정 이력 보관 기간, 제3자(인정기구·발주처·규제기관) 통보 의무는 제도·분야·계약마다 다르게 정해져 있다. 문서를 내보내기 전에 소관 기관과 소속 시험기관의 규정으로 확인한다. 책임 범위가 걸린 판단은 자격 있는 전문가와 상의 한다.
재시험이 필요할 때의 판단
측정·수행 오류로 결과 자체를 신뢰할 수 없을 때는 재시험이다. 이때 정리해야 할 것이 세 가지다.
- 비용을 누가 부담하는가. 시험소 귀책이면 시험소다. 의뢰인이 제공한 정보가 틀렸던 경우(잘못된 빌드 전달 등)라면 협의 사항이다. 이 규칙을 계약 단계에 적어두면 그때 가서 다투지 않는다
- 원 성적서를 어떻게 처리하는가. 취소하고 재발행인지, 개정 차수를 올리는지. 이미 제출된 곳이 있으면 통지가 필요하다
- 일정 영향을 누구에게 언제 알리는가. 의뢰인이 그 성적서로 잡아둔 일정(조달 접수, 납품 검수)이 있으면 하루라도 빨리 알려야 한다
마지막 줄이 실무에서 가장 아프다. 나쁜 소식을 늦게 전하면 상대의 선택지가 줄어든다. 오류를 발견한 날 연락하는 것과 일주일 뒤 연락하는 것의 차이는 사과의 무게가 아니라 상대가 쓸 수 있는 대안의 수 다.
재발을 막는 장치
같은 실수를 반복하지 않으려면 개인의 주의력이 아니라 절차가 필요하다. 성적서 실무에서 효과가 검증된 장치는 대개 이 네 가지다.
- 이중 검토 — 시험원이 아닌 사람이 원자료와 성적서 표를 대조한다. 전사 오류의 대부분이 여기서 걸린다
- 원자료에서 표 자동 생성 — 사람이 숫자를 옮기지 않으면 전사 오류가 구조적으로 사라진다. 스크립트가 원자료에서 표를 만들게 한다
- 발행 전 체크리스트 — 대상 식별, 범위, 환경, 판정 기준과 결정 규칙, 단위, 서명. 모듈 6에서 다룬 결함 리포트 체크리스트와 같은 발상이다
- 성적서 이력 대장 — 발행·개정·취소를 한 대장에서 관리한다. 같은 원인의 다른 건을 찾을 때 이 대장이 없으면 추적이 불가능하다
두 번째가 특히 값이 크다. 앞 레슨에서 환경 정보를 스크립트로 수집하라고 한 것과 같은 원칙이다 — 사람의 성실성에 기대는 품질은 반드시 어느 날 무너진다.
사례 — 분모가 달라 적합이 부적합이 된 성적서
공공 조달용 API 성능·안정성 시험이었다. 판정 기준은 오류율 0.5% 이하, 성적서에 적힌 값은 0.42%, 판정은 적합이었다. 발주처 검수 담당이 같은 원자료로 계산해 0.71% 를 들고 왔다.
| 분자 | 분모 | 결과 | |
|---|---|---|---|
| 시험기관 | 실패 1,260건 | 총 요청 300,000건 | 0.42% |
| 발주처 | 실패 1,260건 | 성공 응답 177,000건 | 0.71% |
원자료는 같았고 측정도 정상이었다. 성적서에 오류율의 산출식과 집계 구간이 없었다는 것 이 유일한 결함이었다. 발주처 기준이면 판정이 뒤집히므로 표기 정정으로 끝낼 수 없었다.
1일차 클레임 접수 기록, 양쪽 계산 방식 서면 교환
2일차 원자료 대조 — 전사·측정 오류 없음 확인
3일차 계약·시방서에서 오류율 정의 확인 → 정의 없음
5일차 산출식 합의 (총 요청 기준, 램프업 20분 제외)
8일차 재계산 → 0.58%, 부적합
9일차 대체본 발행 + 원본 무효 처리, 시정조치 등록재시험은 하지 않았다. 조건이 기록으로 증명돼 재계산으로 끝났고, 일정 손실이 3주가 아니라 9일 이었다. 바꾼 것은 둘이다 — 판정 표에 산출식 칸 을 신설해 비워 둘 수 없게 했고, 성능 항목은 계획서 단계에서 분모·집계 구간을 발주처와 서면으로 확정하게 했다.
- 클레임의 다수는 측정 오류가 아니라 정의 공백이다. 1단계를 먼저 보는 이유는 결백의 증명이 아니라 남은 두 단계로 빨리 넘어가기 위해서 다
- 판정이 뒤집히는 정정은 숨길 수 없다. 어차피 드러나므로 속도와 절차만이 변수다
- 재발 방지를 양식의 빈 칸 으로 했다. 가르치는 장치는 사람이 바뀌면 사라지고, 칸은 남는다
실무에서 왜 필요한가
성적서 오류는 드물지 않다. 드문 것은 잘 수습된 오류다.
수습이 잘된 경우와 아닌 경우의 차이는 결과가 아니라 속도와 기록 에서 갈린다. 오류를 발견한 당일에 고객에게 알리고, 개정본을 절차대로 발행하고, 원인과 시정 조치를 기록한 기관은 심사에서도 좋은 평가를 받는다. 부적합이 발생했다는 사실보다 부적합 관리 체계가 작동했다는 사실 이 평가 대상이기 때문이다. 반대로 부적합이 한 건도 없는 기관은 종종 "발견하지 못하는 기관"으로 의심받는다.
레슨 5에서 본 적합성평가관리법의 맥락도 여기에 걸린다. 성적서 보관 의무와 전문기관 조사 체계가 있는 상황에서, 수정 이력이 남지 않은 정정은 나중에 설명하기 대단히 어려운 형태가 된다. 절차를 지키는 것이 결국 실무자 자신을 보호한다.
사내 QA 맥락으로 옮기면 이 절차는 그대로 결함 리포트 정정과 테스트 결과 보고의 정정 에 적용된다. 릴리스 판정 회의에 잘못된 숫자를 올렸다는 것을 나중에 알았을 때, 조용히 슬라이드를 고치는 조직과 정정 공지를 내는 조직의 신뢰도 차이는 몇 년에 걸쳐 누적된다.
채용시장에서의 위치
시험기관 채용에서 이 영역은 시험원에서 품질책임자·기술책임자로 넘어가는 길목 이다. 시험을 수행하는 역량과 부적합을 관리하는 역량은 다르고, 후자를 갖춘 사람이 훨씬 적다. 내부심사 대응, 시정조치 이력 관리, 불만 처리 절차 운영 경험은 그대로 직무 요건에 적힌다.
제품사 QA 쪽에서는 조금 다른 각도로 쓰인다. 인증·시험 대응 담당자가 시험기관에서 온 결과에 이의를 제기해야 할 때, 무엇을 근거로 어떤 절차로 제기하는지 를 아는 사람은 결과를 바꿀 수 있다. 모르면 "결과가 그렇다니 어쩔 수 없다"로 끝난다.
면접에서 힘 있는 답변의 형태는 이렇다. "발급된 성적서에서 단위 전사 오류를 발견하고 당일 고객에게 통지했습니다. 판정에는 영향이 없었지만 개정본을 정식 발행했고, 같은 서식을 쓴 지난 6개월 성적서 14건을 전수 확인해 2건에서 같은 패턴을 찾았습니다. 이후 원자료에서 표를 자동 생성하도록 절차를 바꿨습니다."
면접 질문은 "실수한 적 있는가"가 아니라 "실수를 어떻게 처리했는가" 로 들어온다.
| 질문 | 약한 답 | 강한 답 |
|---|---|---|
| "발행한 성적서에서 오류를 발견하면?" | "빨리 고쳐서 다시 보냅니다" | "유형부터 가립니다. 판정이 바뀌는가, 이미 어디에 쓰였는가로 개정본·대체본·취소를 택합니다" |
| "고객이 아직 모르는데도 알려야 합니까?" | "판정에 영향 없으면 다음 발행 때 고칩니다" | "이미 제출된 곳이 있으면 알립니다. 늦을수록 상대가 쓸 수 있는 대안이 줄어듭니다" |
| "결과가 틀렸다는 클레임의 첫 조치는?" | "바로 재시험을 제안합니다" | "우리 기록, 측정 조건, 상대의 산출식 순서로 봅니다. 세 번째에서 갈리는 일이 가장 많습니다" |
| "재시험을 할지 말지 어떻게 정합니까?" | "고객이 요구하면 합니다" | "조건을 기록으로 증명할 수 있으면 재계산, 증명 못 하면 재시험입니다" |
| "같은 실수가 다시 안 나게 뭘 했습니까?" | "담당자들에게 주의를 당부했습니다" | "양식에 칸을 추가해 비워 둘 수 없게 했고, 같은 서식의 지난 건을 전수 확인했습니다" |
다섯 번째가 가장 변별력이 크다. "주의를 당부했다"는 답은 재발 방지를 사람의 의지 문제로 보고 있다는 뜻이고, 그 조치는 담당자가 바뀌는 순간 사라진다. 부적합을 처리해 본 사람은 시정조치의 유효성 확인에서 "교육"이 거의 통과하지 못한다 는 것을 안다 — 다음 심사에서 같은 지적이 또 나온다. 양식·자동 확인처럼 건너뛸 수 없는 형태로 바꿨다는 답이 경험의 신호다.
두 번째도 갈린다. 통지 여부를 판정 영향 하나로만 판단한 답은 변수를 하나 놓친 것이다 — 그 성적서가 이미 어디에 쓰였는가. 조달에 접수됐거나 고객의 고객에게 전달된 성적서는, 오탈자 수준이라도 받는 쪽이 "우리가 가진 문서가 최종인가"를 확인할 권리가 있다.