본문으로 건너뛰기
고급약 25분

성적서 오류·클레임 대응과 재발행 절차

발급한 성적서에서 오류가 발견됐다. 조용히 고쳐 다시 보내는 것이 가장 나쁜 선택이다. ISO/IEC 17025의 부적합 업무·불만 처리·성적서 개정 절차를 따라 수습하는 법.

  • #시험성적서
  • #재발행
  • #클레임
  • #부적합관리
  • #ISO17025
  • #시정조치

개념

가장 나쁜 선택은 조용히 고치는 것이다

성적서를 발급하고 이틀 뒤, 표 하나에 단위가 잘못 적힌 것을 발견했다. 밀리초를 초로 적었다. 의뢰인은 아직 아무 말이 없다.

이때 가장 흔하고 가장 위험한 대응이 이것이다. 같은 성적서 번호로 파일을 고쳐 "아까 그거 이걸로 보세요"라고 다시 보내는 것.

왜 위험한가.

  • 같은 번호의 문서가 두 개 존재하게 된다. 둘 중 어느 것이 진짜인지 증명할 방법이 없다
  • 의뢰인이 이미 배포한 앞 버전을 회수할 수 없다. 두 문서가 각각 돌아다닌다
  • 나중에 조사가 들어오면 "성적서를 사후에 수정한 이력"으로만 보인다. 선의였다는 사실은 문서 어디에도 없다

ISO/IEC 17025:2017이 이 상황을 별도 조항(7.8.8 성적서의 개정)으로 다루는 이유가 이것이다. 요구는 간단하다. 변경은 명확히 식별되어야 하고, "성적서에 대한 개정(Amendment to Report)"임을 표시한 별도 문서로 발행하거나, 원본을 대체하는 새 문서로 발행해야 한다.

성적서 세계의 원칙은 하나다. 고친 흔적을 지우지 않는다. 지운 흔적은 나중에 반드시 문제가 된다.

오류의 종류부터 나눈다

대응 방식은 오류의 성격에 따라 갈린다. 먼저 분류한다.

유형예판정에 영향
표기 오류오탈자, 의뢰인 주소 오기, 페이지 번호없음
기재 누락환경 항목 일부 누락, 시험일 누락없을 수도, 있을 수도
전사 오류원자료는 맞는데 성적서 표에 잘못 옮김, 단위 오류있을 수 있음
측정·수행 오류잘못된 조건으로 시험, 장비 설정 오류있음
판정 오류측정은 맞는데 결정 규칙 적용을 잘못함있음

핵심 질문은 하나다. 이 오류가 판정(적합·부적합)을 바꾸는가.

바꾸지 않는다면 개정본으로 정정하면 된다. 바꾼다면 상황이 다르다 — 이미 나간 성적서를 근거로 의뢰인이 무언가를 했을 수 있다. 계약을 맺었거나, 조달에 제출했거나, 제품을 출시했을 수 있다. 이때는 회수와 통지 가 먼저다.

발견 시점이 비용을 정한다

유형은 무엇을 해야 하는지 를 정하고, 발견 시점은 그 일에 드는 값 을 정한다.

발견 시점할 수 있는 일비용
발행 전그냥 고친다. 기록도 필요 없다10분
제출 후·검수 전개정본 + 통지. 상대가 아직 쓰지 않았다문서 1건
검수 통과 후회수 요청 + 재검수 협의. 상대 일정이 이미 묶였다상대의 일정
분쟁 중자유롭게 고칠 수 없다. 정정이 앞 주장의 철회로 읽힌다기록으로만 싸운다

두 번째와 세 번째 줄 사이의 격차가 실무의 전부다. 줄이는 방법은 하나뿐이다 — 우리가 먼저 찾는 것. 숨기는 쪽이 가장 비싸고 먼저 알리는 쪽이 가장 싸다. 어떤 말투로 알릴지는 모듈 6 레슨 3 「결함 커뮤니케이션 원칙」 의 원칙이 그대로 쓰인다 — 사람을 가리키지 않고 사실과 다음 행동만 적는다.

정정의 세 가지 형태

실무에서 쓰이는 형태는 셋이고, 무엇을 고치느냐로 갈린다.

① 개정본 (Amendment)
   원본은 그대로 두고, "제2026-0142호에 대한 개정 제1호"를 별도 발행.
   무엇이 왜 바뀌는지만 적는다.
   → 표기 오류, 소규모 기재 누락
 
② 대체본 (Revised / 재발행)
   새 번호 또는 개정 차수를 붙인 전체 문서를 발행하고,
   원본을 무효로 선언한다. 원본 회수를 요청한다.
   → 전사 오류, 판정에 영향을 주는 정정
 
③ 취소 (Withdrawal)
   성적서를 무효화하고 정정본을 내지 않는다.
   시험 자체가 유효하지 않았을 때.
   → 측정·수행 오류로 결과를 신뢰할 수 없을 때 → 재시험

어느 경우든 문서에 반드시 들어가야 할 것은 세 가지다.

  • 원본 식별 — 어느 성적서를 고치는가 (번호·발행일)
  • 변경 내용 — 무엇이 무엇으로 바뀌는가 (전·후를 나란히)
  • 변경 사유 — 왜 바뀌는가

세 번째가 자주 빠진다. "오기 정정"이라고만 적힌 개정본은 읽는 사람에게 불안을 남긴다. "원자료(2026-09-05 측정 파일) 전사 과정에서 p95 값의 단위를 ms 대신 s로 표기함. 원자료 대조 결과 정정" 정도까지 적으면 오히려 신뢰가 올라간다. 정직한 정정은 문서의 신뢰도를 깎지 않는다. 감춘 정정이 깎는다.

ISO/IEC 17025가 요구하는 처리 절차

인정 시험소가 아니더라도 이 절차는 그대로 쓸 값이 있다. 세 조항이 맞물린다.

조항다루는 것요구
7.9 불만(Complaints)외부에서 들어온 이의 제기접수·평가·결정을 위한 문서화된 절차. 이해관계자가 요청하면 절차를 제공
7.10 부적합 업무(Nonconforming work)시험소 활동이 절차·요구를 벗어났을 때책임자 지정, 위험 기반 조치, 중대성 평가와 영향 분석, 고객 통지, 업무 재개 승인
7.8.8 성적서 개정발행된 성적서의 수정변경의 명확한 식별, 개정임을 표시한 문서로 발행

7.10의 항목들이 실무에서 어떻게 순서로 풀리는지 보면 이해가 빠르다.

1. 인지        — 오류를 발견한다 (내부 발견 / 고객 클레임)
2. 즉시 조치   — 추가 배포 중단, 관련 진행 시험 검토
3. 중대성 평가 — 판정이 바뀌는가, 다른 성적서에도 같은 원인이 있는가
4. 고객 통지   — 영향이 있으면 반드시. 지연할수록 손해가 커진다
5. 회수·정정   — 개정본 / 대체본 / 취소 중 선택해 발행
6. 원인 분석   — 왜 생겼는가 (사람인가 절차인가 도구인가)
7. 시정 조치   — 재발 방지. 절차·서식·검토 단계 변경
8. 유효성 확인 — 조치가 실제로 작동하는지 이후 건으로 확인

3번이 이 절차의 무게중심이다. 같은 원인이 다른 성적서에도 있는가. 전사 실수 하나가 발견됐을 때 그것이 그 건만의 실수인지, 같은 서식이나 같은 스크립트를 쓴 지난 성적서 전부에 있는지를 확인해야 한다. 여기를 건너뛰면 몇 달 뒤 같은 문제가 더 큰 규모로 돌아온다.

클레임이 들어왔을 때 — 첫 대응이 전부다

의뢰인이 "결과가 이상하다"고 연락해 오는 경우, 오류일 수도 있고 아닐 수도 있다. 첫 대응에서 하지 말아야 할 것과 해야 할 것이 분명하다.

하지 말 것대신 할 것
즉시 "저희 시험은 정확합니다"무엇을 근거로 이상하다고 판단했는지 묻는다
즉시 "다시 해드리겠습니다"원자료와 성적서를 먼저 대조한다
구두로만 주고받는다접수 일시·내용·담당자를 기록으로 남긴다
담당 시험원 혼자 판단한다시험에 관여하지 않은 인원의 검토를 붙인다

두 번째 줄이 중요하다. 클레임의 상당수는 시험 오류가 아니라 환경 차이 에서 온다. 앞 레슨에서 본 그 장면이다 — 운영은 데이터 5천만 건인데 시험은 100만 건이었다든가, 성적서는 목 PG 기준인데 실서비스는 실 PG라든가. 환경 절이 잘 쓰여 있으면 이 대조가 30분이면 끝난다.

그래서 클레임 대응의 실제 난이도는 클레임이 들어온 시점이 아니라 성적서를 쓸 때 결정되어 있다. 레슨 1·2를 성실히 한 성적서는 클레임을 사실 확인 절차로 만들고, 부실한 성적서는 클레임을 협상으로 만든다.

네 번째 줄도 짚어둘 만하다. 자기가 한 시험의 오류를 자기가 판정하는 것은 구조적으로 약하다. 17025가 불만 처리에 대해 결정을 내리는 인원이 해당 활동에 관여하지 않았을 것 을 요구하는 취지가 그것이다. 작은 조직이라도 최소한 "검토자는 시험원과 다른 사람"은 지킬 수 있다.

사실 확인에는 순서가 있다

클레임을 받으면 확인할 것이 셋이고, 순서를 지키는 것이 속도를 만든다.

1단계  우리 기록        원자료 → 성적서 표 전사가 맞는가
                        걸리면 우리 오류다 → 바로 정정 절차
2단계  측정 조건        상대가 본 숫자는 어느 환경·어느 부하에서 나왔는가
                        갈리면 오류가 아니라 조건 차이다
3단계  상대의 계산 방식  같은 원자료를 상대는 어떻게 집계했는가
                        갈리면 숫자가 아니라 정의의 문제다

가장 많이 나오면서 가장 늦게 발견되는 것이 3단계 다. 같은 숫자를 서로 다르게 계산해 놓고 양쪽 다 자기 계산이 상식이라고 믿는 상황이다.

어긋나는 지점우리 쪽상대 쪽
오류율실패 ÷ 총 요청실패 ÷ 성공 응답
응답시간 집계 구간램프업 제외한 정상 구간측정 파일 전체
가용성분 단위 다운타임 합실패 호출이 있었던 날 수
평균전 구간 단순 평균회차별 평균의 평균

어느 줄도 누가 틀린 것이 아니다. 정의를 적지 않은 것이 틀린 것이다. 그래서 이런 클레임의 결론은 정정이 아니라 산출식 명시 인 일이 많다 — 다음 성적서부터 분모와 집계 구간을 칸으로 못 박는다.

재계산인가 재시험인가 — 증명 가능성이 가른다

시험 당시의 조건을 기록으로 증명할 수 있으면 재계산으로 끝난다. 증명할 수 없으면 재시험이다.

원자료가 남아 있고 그것이 어느 조건에서 수집됐는지 기록으로 확정되면 집계만 다시 해 정정본을 낸다. 새 측정일이 생기지 않고 사유에 "집계 방식 정정"을 쓸 수 있다. 다음 중 하나라도 걸리면 재계산은 선택지가 아니다.

  • 원자료가 없거나 어느 회차의 것인지 특정되지 않는다
  • 측정 당시 장비·환경이 의도와 달랐음이 확인됐다 (부하 생성기 절반 동작 등)
  • 수집이 조건을 왜곡했다 — 측정 구간이 잘못 잡혔거나 워밍업이 섞였다

세 번째가 어렵다. 숫자는 멀쩡한데 그 숫자가 가리키는 대상이 다른 경우라서다. 모듈 31 레슨 4에서 본 측정 구간·표본 수 기록이 여기서 재계산과 재시험을 가르는 증거가 된다. 기록 비용은 재시험 비용의 보험료 다.

다만 여기까지가 성격 이다. 개정본 번호 체계, 원본 회수 범위, 정정 이력 보관 기간, 제3자(인정기구·발주처·규제기관) 통보 의무는 제도·분야·계약마다 다르게 정해져 있다. 문서를 내보내기 전에 소관 기관과 소속 시험기관의 규정으로 확인한다. 책임 범위가 걸린 판단은 자격 있는 전문가와 상의 한다.

재시험이 필요할 때의 판단

측정·수행 오류로 결과 자체를 신뢰할 수 없을 때는 재시험이다. 이때 정리해야 할 것이 세 가지다.

  • 비용을 누가 부담하는가. 시험소 귀책이면 시험소다. 의뢰인이 제공한 정보가 틀렸던 경우(잘못된 빌드 전달 등)라면 협의 사항이다. 이 규칙을 계약 단계에 적어두면 그때 가서 다투지 않는다
  • 원 성적서를 어떻게 처리하는가. 취소하고 재발행인지, 개정 차수를 올리는지. 이미 제출된 곳이 있으면 통지가 필요하다
  • 일정 영향을 누구에게 언제 알리는가. 의뢰인이 그 성적서로 잡아둔 일정(조달 접수, 납품 검수)이 있으면 하루라도 빨리 알려야 한다

마지막 줄이 실무에서 가장 아프다. 나쁜 소식을 늦게 전하면 상대의 선택지가 줄어든다. 오류를 발견한 날 연락하는 것과 일주일 뒤 연락하는 것의 차이는 사과의 무게가 아니라 상대가 쓸 수 있는 대안의 수 다.

재발을 막는 장치

같은 실수를 반복하지 않으려면 개인의 주의력이 아니라 절차가 필요하다. 성적서 실무에서 효과가 검증된 장치는 대개 이 네 가지다.

  • 이중 검토 — 시험원이 아닌 사람이 원자료와 성적서 표를 대조한다. 전사 오류의 대부분이 여기서 걸린다
  • 원자료에서 표 자동 생성 — 사람이 숫자를 옮기지 않으면 전사 오류가 구조적으로 사라진다. 스크립트가 원자료에서 표를 만들게 한다
  • 발행 전 체크리스트 — 대상 식별, 범위, 환경, 판정 기준과 결정 규칙, 단위, 서명. 모듈 6에서 다룬 결함 리포트 체크리스트와 같은 발상이다
  • 성적서 이력 대장 — 발행·개정·취소를 한 대장에서 관리한다. 같은 원인의 다른 건을 찾을 때 이 대장이 없으면 추적이 불가능하다

두 번째가 특히 값이 크다. 앞 레슨에서 환경 정보를 스크립트로 수집하라고 한 것과 같은 원칙이다 — 사람의 성실성에 기대는 품질은 반드시 어느 날 무너진다.

사례 — 분모가 달라 적합이 부적합이 된 성적서

공공 조달용 API 성능·안정성 시험이었다. 판정 기준은 오류율 0.5% 이하, 성적서에 적힌 값은 0.42%, 판정은 적합이었다. 발주처 검수 담당이 같은 원자료로 계산해 0.71% 를 들고 왔다.

분자분모결과
시험기관실패 1,260건총 요청 300,000건0.42%
발주처실패 1,260건성공 응답 177,000건0.71%

원자료는 같았고 측정도 정상이었다. 성적서에 오류율의 산출식과 집계 구간이 없었다는 것 이 유일한 결함이었다. 발주처 기준이면 판정이 뒤집히므로 표기 정정으로 끝낼 수 없었다.

1일차  클레임 접수 기록, 양쪽 계산 방식 서면 교환
2일차  원자료 대조 — 전사·측정 오류 없음 확인
3일차  계약·시방서에서 오류율 정의 확인 → 정의 없음
5일차  산출식 합의 (총 요청 기준, 램프업 20분 제외)
8일차  재계산 → 0.58%, 부적합
9일차  대체본 발행 + 원본 무효 처리, 시정조치 등록

재시험은 하지 않았다. 조건이 기록으로 증명돼 재계산으로 끝났고, 일정 손실이 3주가 아니라 9일 이었다. 바꾼 것은 둘이다 — 판정 표에 산출식 칸 을 신설해 비워 둘 수 없게 했고, 성능 항목은 계획서 단계에서 분모·집계 구간을 발주처와 서면으로 확정하게 했다.

  • 클레임의 다수는 측정 오류가 아니라 정의 공백이다. 1단계를 먼저 보는 이유는 결백의 증명이 아니라 남은 두 단계로 빨리 넘어가기 위해서 다
  • 판정이 뒤집히는 정정은 숨길 수 없다. 어차피 드러나므로 속도와 절차만이 변수다
  • 재발 방지를 양식의 빈 칸 으로 했다. 가르치는 장치는 사람이 바뀌면 사라지고, 칸은 남는다

실무에서 왜 필요한가

성적서 오류는 드물지 않다. 드문 것은 잘 수습된 오류다.

수습이 잘된 경우와 아닌 경우의 차이는 결과가 아니라 속도와 기록 에서 갈린다. 오류를 발견한 당일에 고객에게 알리고, 개정본을 절차대로 발행하고, 원인과 시정 조치를 기록한 기관은 심사에서도 좋은 평가를 받는다. 부적합이 발생했다는 사실보다 부적합 관리 체계가 작동했다는 사실 이 평가 대상이기 때문이다. 반대로 부적합이 한 건도 없는 기관은 종종 "발견하지 못하는 기관"으로 의심받는다.

레슨 5에서 본 적합성평가관리법의 맥락도 여기에 걸린다. 성적서 보관 의무와 전문기관 조사 체계가 있는 상황에서, 수정 이력이 남지 않은 정정은 나중에 설명하기 대단히 어려운 형태가 된다. 절차를 지키는 것이 결국 실무자 자신을 보호한다.

사내 QA 맥락으로 옮기면 이 절차는 그대로 결함 리포트 정정과 테스트 결과 보고의 정정 에 적용된다. 릴리스 판정 회의에 잘못된 숫자를 올렸다는 것을 나중에 알았을 때, 조용히 슬라이드를 고치는 조직과 정정 공지를 내는 조직의 신뢰도 차이는 몇 년에 걸쳐 누적된다.

채용시장에서의 위치

시험기관 채용에서 이 영역은 시험원에서 품질책임자·기술책임자로 넘어가는 길목 이다. 시험을 수행하는 역량과 부적합을 관리하는 역량은 다르고, 후자를 갖춘 사람이 훨씬 적다. 내부심사 대응, 시정조치 이력 관리, 불만 처리 절차 운영 경험은 그대로 직무 요건에 적힌다.

제품사 QA 쪽에서는 조금 다른 각도로 쓰인다. 인증·시험 대응 담당자가 시험기관에서 온 결과에 이의를 제기해야 할 때, 무엇을 근거로 어떤 절차로 제기하는지 를 아는 사람은 결과를 바꿀 수 있다. 모르면 "결과가 그렇다니 어쩔 수 없다"로 끝난다.

면접에서 힘 있는 답변의 형태는 이렇다. "발급된 성적서에서 단위 전사 오류를 발견하고 당일 고객에게 통지했습니다. 판정에는 영향이 없었지만 개정본을 정식 발행했고, 같은 서식을 쓴 지난 6개월 성적서 14건을 전수 확인해 2건에서 같은 패턴을 찾았습니다. 이후 원자료에서 표를 자동 생성하도록 절차를 바꿨습니다."

면접 질문은 "실수한 적 있는가"가 아니라 "실수를 어떻게 처리했는가" 로 들어온다.

질문약한 답강한 답
"발행한 성적서에서 오류를 발견하면?""빨리 고쳐서 다시 보냅니다""유형부터 가립니다. 판정이 바뀌는가, 이미 어디에 쓰였는가로 개정본·대체본·취소를 택합니다"
"고객이 아직 모르는데도 알려야 합니까?""판정에 영향 없으면 다음 발행 때 고칩니다""이미 제출된 곳이 있으면 알립니다. 늦을수록 상대가 쓸 수 있는 대안이 줄어듭니다"
"결과가 틀렸다는 클레임의 첫 조치는?""바로 재시험을 제안합니다""우리 기록, 측정 조건, 상대의 산출식 순서로 봅니다. 세 번째에서 갈리는 일이 가장 많습니다"
"재시험을 할지 말지 어떻게 정합니까?""고객이 요구하면 합니다""조건을 기록으로 증명할 수 있으면 재계산, 증명 못 하면 재시험입니다"
"같은 실수가 다시 안 나게 뭘 했습니까?""담당자들에게 주의를 당부했습니다""양식에 칸을 추가해 비워 둘 수 없게 했고, 같은 서식의 지난 건을 전수 확인했습니다"

다섯 번째가 가장 변별력이 크다. "주의를 당부했다"는 답은 재발 방지를 사람의 의지 문제로 보고 있다는 뜻이고, 그 조치는 담당자가 바뀌는 순간 사라진다. 부적합을 처리해 본 사람은 시정조치의 유효성 확인에서 "교육"이 거의 통과하지 못한다 는 것을 안다 — 다음 심사에서 같은 지적이 또 나온다. 양식·자동 확인처럼 건너뛸 수 없는 형태로 바꿨다는 답이 경험의 신호다.

두 번째도 갈린다. 통지 여부를 판정 영향 하나로만 판단한 답은 변수를 하나 놓친 것이다 — 그 성적서가 이미 어디에 쓰였는가. 조달에 접수됐거나 고객의 고객에게 전달된 성적서는, 오탈자 수준이라도 받는 쪽이 "우리가 가진 문서가 최종인가"를 확인할 권리가 있다.

실습 과제

과제 1 — 오류 분류와 대응 결정 (20분)

아래 다섯 상황 각각에 대해 ① 오류 유형 ② 판정 영향 여부 ③ 개정본·대체본· 취소 중 무엇을 택할지 ④ 고객 통지 필요 여부를 판단하고 근거를 적는다.

  1. 의뢰인 회사명에 오타가 있다
  2. 환경 절에서 DB 버전 표기가 빠졌다 (성능 결과에 영향 가능)
  3. p95 값을 ms 단위로 재고 성적서에 s로 적었다. 판정이 적합에서 부적합으로 뒤집힌다
  4. 시험 중 부하 생성기 한 대가 절반만 동작한 것을 뒤늦게 확인했다
  5. 측정값은 맞는데 가드밴드를 적용해야 할 것을 단순 수용으로 판정했다
해설 보기
#유형판정 영향조치통지
1표기 오류없음개정본필요 — 식별 정보다
2기재 누락있을 수 있음개정본 (값이 확정되면)필요
3전사 오류있음 — 뒤집힘대체본 + 원본 무효즉시
4측정·수행 오류있음취소 → 재시험즉시
5판정 오류있음대체본 (재계산으로 가능)필요

1번을 "오타니까 안 알려도 된다"로 답하기 쉽다. 의뢰인 회사명은 대상 식별 정보 라서 제출처가 그 한 줄로 문서의 귀속을 판단한다. 4번과 5번의 차이도 짚을 지점이다 — 5번은 측정값이 살아 있어 재계산, 4번은 측정 자체가 무효라 재시험 이다.

과제 2 — 개정본 작성 (20분)

과제 1의 3번 상황에 대해 실제 개정 문서를 작성한다. 다음을 포함한다.

- 문서 제목 (개정임이 드러나야 한다)
- 원본 식별 (성적서 번호·발행일)
- 변경 내용 (전 → 후를 나란히)
- 변경 사유 (어떻게 발견했고 무엇과 대조해 확인했는가)
- 원본의 효력 (무효 여부, 회수 요청)
- 발행일·서명

작성 후 의뢰인의 입장에서 읽어본다. 이 문서를 받고 무엇을 해야 하는지 명확한가? 아니라면 행동 지침 문장을 추가한다.

해설 보기

잘 쓴 정정 문서는 받는 사람이 읽고 나서 할 일이 분명해진다. 넷을 점검한다.

  • 제목에 "개정" 또는 "대체"가 들어가 원본과 구분되는가
  • 전·후가 나란히 놓였는가 (바뀐 값만 적으면 상대가 대조해야 한다)
  • 사유에 어떻게 발견했고 무엇과 대조해 확인했는지 가 있는가
  • 마지막에 상대가 할 행동 이 있는가 — "제2026-0142호를 폐기하고 본 문서를 사용하십시오", "이미 제출한 곳이 있으면 알려 주십시오"

넷째가 가장 자주 빠진다. 사실만 적힌 정정문은 상대를 멈춰 세운다.

과제 3 — 부적합 처리 시나리오 (25분)

과제 1의 4번(부하 생성기 절반 동작) 상황을 8단계 절차(인지 → 즉시 조치 → 중대성 평가 → 고객 통지 → 회수·정정 → 원인 분석 → 시정 조치 → 유효성 확인)에 따라 써 내려간다. 특히 다음 두 가지에 답한다.

  • 같은 원인이 다른 성적서에도 있는가 를 어떻게 확인할 것인가
  • 재발 방지 조치로 무엇을 넣을 것인가 (사람의 주의가 아닌 장치로)
해설 보기

중대성 평가가 묻는 것은 "이 건이 얼마나 나쁜가"가 아니라 "이 원인이 어디까지 퍼져 있는가"다. 부하 생성기 절반 동작은 한 성적서의 사고가 아니라 시험 개시 점검의 공백 이므로, 같은 구성으로 돌린 지난 시험 전부가 의심 대상이다.

확인 경로는 셋이다 — 이력 대장에서 같은 항목·같은 기간을 추리고, 회차 폴더의 부하 생성기 로그에서 실제 참여 노드 수를 보고, 처리량이 설계 대비 유의하게 낮은 회차를 역추적한다. 마지막이 핵심이다. 절반만 돌았으면 처리량에 흔적이 남는다. 재발 방지 조치는 "다음에 확인한다"가 아니라 시작 시 참여 노드 수를 자동 확인하고 미달이면 중단 하는 형태로 적는다.

과제 4 (선택) — 발행 전 체크리스트 만들기 (15분)

본문의 네 가지 장치 중 "발행 전 체크리스트"를 실제로 만든다. 이 모듈 레슨 1~5에서 배운 항목을 근거로 최소 12개 항목을 구성하고, 각 항목에 확인 방법 을 붙인다. 이 체크리스트가 이 모듈의 요약본이 된다.

해설 보기

체크리스트가 유용해지는 조건은 항목 수가 아니라 각 항목이 예·아니오로 닫히는가 다. "환경이 충실히 기재되었는가"는 닫히지 않고, "OS·런타임·DB 버전이 빌드 번호까지 적혀 있는가"는 닫힌다. 닫히지 않는 항목을 골라 다시 쓰는 것이 이 과제의 진짜 작업이다.

자가 체크리스트

  • 같은 번호로 성적서를 조용히 교체하면 안 되는 이유를 셋 이상 든다
  • ISO/IEC 17025 7.8.8이 성적서 개정에 요구하는 것을 설명할 수 있다
  • 오류를 다섯 유형으로 분류하고 판정 영향 여부로 대응을 나눌 수 있다
  • 개정본·대체본·취소를 언제 각각 택하는지 판단할 수 있다
  • 정정 문서에 반드시 들어갈 세 가지(원본 식별·변경 내용·변경 사유)를 안다
  • 7.9 불만과 7.10 부적합 업무가 각각 무엇을 다루는지 구분할 수 있다
  • 부적합 처리 8단계에서 "중대성 평가"가 무게중심인 이유를 설명할 수 있다
  • 클레임 첫 대응에서 하지 말아야 할 것과 할 것을 구분할 수 있다
  • 클레임의 상당수가 환경 차이에서 온다는 것과 그 대조 방법을 안다
  • 재발 방지를 사람의 주의가 아닌 장치로 설계해야 하는 이유를 안다
  • 발견 시점(발행 전·제출 후·검수 통과 후·분쟁 중)이 비용을 어떻게 바꾸는지 안다
  • 클레임 사실 확인의 세 단계를 순서대로 말할 수 있다
  • 같은 원자료로 숫자가 달라지는 지점(분모·집계 구간·평균의 평균)을 든다
  • 재계산과 재시험을 가르는 기준이 증명 가능성임을 설명할 수 있다
  • 판정이 뒤집히는 정정에서 대체본 발행과 원본 무효 처리를 설계할 수 있다
  • 정정 절차의 세부가 제도마다 다르다는 것과 무엇을 확인해야 하는지 안다

흔한 실수

같은 번호로 파일만 바꿔 다시 보낸다. 이 레슨 전체가 막으려는 행동이다. 같은 번호의 문서가 둘이 되는 순간 어느 쪽도 증명력을 잃는다.

판정이 안 바뀌니 통지하지 않는다. 판정에 영향이 없어도 의뢰인이 그 성적서를 제출한 곳이 있을 수 있다. 통지 여부는 판정 영향만이 아니라 이미 어디에 쓰였는가 로도 판단한다.

변경 사유를 안 적는다. "오기 정정"만 적힌 개정본은 읽는 사람이 다른 오류도 있을 것이라 의심하게 만든다.

클레임에 즉시 재시험을 약속한다. 원자료 대조 없이 재시험을 약속하면 비용과 일정을 잃고, 원인이 환경 차이였을 경우 되돌릴 수도 없다.

같은 원인의 다른 건을 확인하지 않는다. 서식이나 스크립트가 원인인 오류는 거의 항상 여러 건에 걸쳐 있다. 한 건만 고치면 나머지가 남는다.

시험을 수행한 사람이 혼자 판단한다. 자기 시험의 오류를 자기가 판정하는 구조는 심사에서도 실무에서도 약하다.

나쁜 소식을 늦게 전한다. 지연은 사과의 무게를 키우는 것이 아니라 상대의 선택지를 줄인다.

부적합 이력이 한 건도 없는 것을 자랑한다. 발견 체계가 작동하지 않는다는 신호로 읽힐 수 있다. 발생 건수보다 처리 품질이 평가 대상이다.

산출식을 적지 않고 숫자만 적는다. 오류율의 분모, 평균의 집계 구간이 없는 성적서는 상대에게 자기 방식으로 계산할 자유를 준다. 같은 원자료로 판정이 뒤집히는 사고의 대부분이 여기서 나온다.

조건 차이를 오류로 인정해 버린다. 환경 차이가 드러났는데도 사과부터 하면 없던 귀책이 생긴다. 조건 차이는 정정이 아니라 유효 범위 설명 사안 이다.

분쟁이 시작된 뒤 혼자 정정 문서를 보낸다. 책임 범위가 걸린 사안은 계약·법무 담당을 거치고, 필요하면 자격 있는 전문가와 상의한다.

참고 자료

이 커리큘럼 안에서

  • 모듈 31 레슨 1 「의뢰 범위 정의와 시험 계획서」 — 산출식을 계약 단계에 못 박는 쪽
  • 모듈 31 레슨 2 「시험 환경·구성 기재」 — 사실 확인 2단계가 30분에 끝나는지 2주가 걸리는지
  • 모듈 31 레슨 4 「성능·부하 결과의 통계적 표현」 — 대표값·집계 구간을 시험 전에 정해 두기
  • 모듈 31 레슨 5 「성적서 종류별 법적 효력」 — 정정이 계약·검수에서 갖는 무게
  • 모듈 31 레슨 7 「SI 납품용 성적서 템플릿」 — 발주처 양식에 산출식 칸과 증빙 색인 넣기
  • 모듈 32 레슨 5 「부적합 관리·시정조치·내부심사」 — 8단계를 시험소 품질시스템 안에서 운영하는 쪽
  • 모듈 32 레슨 4 「원자료와 시험 기록 관리」 — 재계산을 가능하게 하는 보관 체계
  • 모듈 6 레슨 3 「결함 커뮤니케이션 원칙」 — 내 리포트가 틀렸을 때의 말투
  • 모듈 7 레슨 7 「Confluence로 QA 문서 협업하기」 — 기록을 고치지 않고 새 기록으로 잇는 원리
  • 모듈 25 레슨 7 「시험성적서의 세 얼굴」 — 종류에 따라 정정 절차 강도가 달라지는 배경
  • 모듈 30 레슨 5 「측정량과 성적서 항목명」 — 항목 이름과 산출식을 문서 간에 통일
  • 모듈 8 레슨 6 「표준 산출물 문서 따라가기」 — 문서 간 불일치가 생기는 지점

한 줄 정리

결과를 가르는 것은 오류의 크기가 아니라 원본을 고치지 않고 이력을 남겼는가, 얼마나 빨리 알렸는가 다 — 클레임의 다수는 측정 오류가 아니라 정의 공백에서 오므로, 재발 방지는 교육이 아니라 양식의 빈 칸으로 한다.

낯선 말 풀이

이 레슨에 나온 약어입니다. 본문에서도 처음 나올 때 점선으로 표시해 두었습니다 (제목과 링크 글자는 그대로 둡니다).

ISO/IEC — 국제표준화기구·국제전기기술위원회 공동 표준
두 국제 단체가 함께 낸 표준이라는 표시. 뒤에 붙는 숫자가 문서 번호다.
p95 — 95 백분위
느린 쪽 5%를 뺀 나머지가 이 안에 들어온다는 뜻. 100번 중 95번이 그 시간 안에 끝났다는 말이다.
PG — 결제 대행
쇼핑몰과 카드사 사이에서 결제를 중개해 주는 서비스.
API — 응용 프로그램 인터페이스
프로그램끼리 주고받는 창구. 사람이 화면 버튼을 누르는 대신, 프로그램이 정해진 주소로 요청을 보내 답을 받는다.
QA — 품질보증
만든 것이 쓸 만한지 확인하고, 애초에 덜 망가지게 만드는 방법을 정하는 일. "테스트"는 그 일의 일부다.
DB — 데이터베이스
데이터를 넣어 두고 꺼내 쓰는 저장소. 보통 표 여러 개가 서로 연결된 형태다.
OS — 운영체제
기기를 돌리는 바탕 프로그램 — 윈도우, 맥, 안드로이드 같은 것.
KOLAS — 한국인정기구
시험·검사를 하는 기관이 믿을 만한지 국가가 인정해 주는 제도. 인정받은 기관의 성적서는 공식 문서로 통한다.
SI — 시스템 통합 사업
고객이 발주한 시스템을 받아서 만들어 주는 사업 형태. 국내 정보기술 업계의 큰 축이다.

용어집 전체 보기