표준 기반 테스트 계획 실전 — 추적성 매트릭스부터 성적서까지

개념

이 모듈이 만들어야 할 한 가지 산출물

레슨 1부터 7까지 여러 영역의 규격을 훑었다. 그런데 실무에서 이 지식이 쓰이는 형태는 결국 하나다 — "이 표준의 이 조항을, 이 요구사항으로 옮겨, 이 테스트로 확인했고, 증거는 여기 있다"를 보여주는 한 장의 표.

그 표를 만드는 것이 이 레슨의 목표다.

[표준 기반 검증의 전체 흐름]
 
과제 성과지표 / 계약 요구      ← 여기서 시작한다
        │  ① 표준 식별
        ▼
적용 표준 목록 (번호 + 버전)
        │  ② 범위 결정 (PICS / 적용 조항)
        ▼
적용 조항 목록
        │  ③ 요구사항 변환 (shall → 관찰 가능한 문장)
        ▼
검증 요구사항 (REQ-xxx)
        │  ④ 테스트 설계
        ▼
테스트 케이스 (TC-xxx)
        │  ⑤ 실행과 증거 수집
        ▼
실행 결과 + 증거 (로그·캡처·측정값)
        │  ⑥ 보고
        ▼
시험 결과 보고서 / 시험성적서 / 과제 최종 보고

레슨 2에서 ③④를 배웠고, 레슨 3~7에서 영역별 ②④를 배웠다. 이 레슨은 ①부터 ⑥까지를 하나로 꿰는 문서 구조 를 만든다.

추적성 매트릭스의 실제 모양

이론적인 설명보다 표 하나가 빠르다.

이 표에서 눈여겨볼 칸이 셋 있다.

버전 칸. 레슨 2에서 강조했듯 신산업 규격은 자주 개정된다. 버전 없는 추적성 매트릭스는 1년이면 쓸모가 줄어든다.

증거 칸. 파일 경로나 식별자가 들어간다. "Pass"만 적힌 표는 아무것도 증명하지 않는다. 증거를 찾아갈 수 있어야 그 표가 근거가 된다.

마지막 행의 표준 칸이 비어 있는 것. 표준이 없는 항목(레슨 4의 후행 영역)도 같은 표에 넣고, 대신 사내 기준의 근거 문서를 가리킨다. 표준 있는 것과 없는 것을 한 표에서 다루는 것이 중요하다 — 나누면 표준 없는 항목이 조용히 누락된다.

계획서에는 무엇이 들어가는가

모듈 8에서 배운 ISO/IEC/IEEE 29119 Part 3의 테스트 계획서 구조를 그대로 쓰되, 표준 기반 검증에서 추가로 넣어야 하는 절이 있다.

[표준 기반 테스트 계획서 — 29119 구조 + 추가 절]
 
1. 개요 / 범위                          (29119 표준 항목)
2. 테스트 대상 시스템                    (29119)
3. ★ 적용 표준 목록                     ← 추가
   - 표준 번호, 제목, 버전, 발행일
   - 입수 경로와 입수 여부
   - 적용 근거 (계약 요구 / 과제 지표 / 자체 판단)
4. ★ 적용 범위 결정 근거 (PICS)          ← 추가
   - 구현 선언 표와 그 근거
   - 제외한 조항과 제외 사유
5. 테스트 접근 방법                      (29119)
6. ★ 시험 유형 구분                     ← 추가
   - 적합성 / 상호운용성 / 성능 / 문서검토 별 항목 수
   - 자체 시험 vs 외부 의뢰 구분
7. 테스트 환경                           (29119)
8. ★ 측정 조건 명세                     ← 추가
   - 측정 장비, 반복 횟수, 보고 통계량
9. 일정 / 자원                           (29119)
10. ★ 규격 해석 이슈 관리 방법           ← 추가
11. 종료 조건                            (29119)
12. ★ 증거 보존 계획                    ← 추가
    - 무엇을, 어떤 형식으로, 얼마나 보관하는가
13. 리스크                               (29119)

★ 표시된 여섯 절이 일반 테스트 계획서와의 차이다. 이 여섯 절이 있으면 나중에 "그 결과를 어떻게 얻었는가"라는 질문에 답할 수 있다.

증거는 무엇이고 어떻게 남기는가

"테스트했다"와 "테스트했음을 증명할 수 있다"는 다르다. 표준 기반 검증에서 후자가 요구된다.

증거에는 시각과 대상 버전이 반드시 붙어야 한다. "언제, 어느 빌드에 대해" 얻은 결과인지 없으면 나중에 다른 버전의 결과와 섞인다.

[증거 파일 이름 규칙 예]
YYYYMMDD_빌드번호_TC번호_설명.확장자
 
20260912_b1284_TC033_rollback_reject.log
20260912_b1284_TC080_mtp_measurement.csv

단순하지만 이 규칙 하나가 몇 달 뒤의 자신을 구한다.

과제 성과지표를 시험 계획으로 옮기는 실전

가장 현실적인 시나리오를 따라가 보자. 과제 협약서에 이렇게 적혀 있다.

"본 과제는 스마트시티 데이터 플랫폼을 개발하고, 관련 국제표준 부합성을 확보하며, 공인 시험성적서 1건을 확보한다."

이 문장에서 시험 계획을 뽑아내는 절차다.

1단계 — 문장을 검증 가능한 조각으로 쪼갠다.

세 칸 모두 협약서에는 안 적혀 있다. 이걸 과제 초기에 확정하는 것이 QA의 첫 번째 일이다. 마지막 3개월에 하면 선택지가 없다.

2단계 — 표준을 식별한다. 레슨 1의 방법을 쓴다. 최신 표준화전략맵에서 해당 융합서비스 칸을 찾고, 거기 붙은 표준 목록 중 우리 시스템에 실제로 적용되는 것을 고른다. 스마트시티라면 데이터 모델·공간정보·플랫폼 시험 관련 항목이 후보다.

3단계 — 입수 가능성을 확인한다. 여기서 절반이 걸러진다. 유료 규격의 구매 비용, 초안 문서의 접근 제한, 회원사만 열람 가능한 문서. 입수할 수 없는 표준으로는 부합성 시험을 할 수 없다. 이 사실을 1년 차에 알아내면 계획을 바꿀 수 있고, 3년 차에 알아내면 못 바꾼다.

4단계 — 공인 시험 가능 항목을 확인한다. TTA 같은 시험기관이 실제로 그 표준에 대한 시험 서비스를 제공하는지 확인한다. 제공하지 않으면 "공인 시험성적서"를 받을 수 없고, 계획을 일반 시험성적서나 다른 항목의 공인 성적서로 조정해야 한다. 모듈 25 레슨 7의 성적서 구분이 여기서 쓰인다.

5단계 — 나머지를 자체 시험으로 설계한다. 공인 시험으로 못 덮는 부분이 대부분일 것이다. 레슨 2의 5단계로 요구사항과 케이스를 만들고 추적성 매트릭스에 채운다.

6단계 — 표를 과제 담당자와 공유한다. 이 표가 중간평가·최종평가에서 "부합성을 어떻게 확보했는가"에 대한 답이 된다.

최신판으로 계획을 갱신하는 루틴

표준화전략맵은 매년 나온다. 2026년 현재 최신은 Ver.2026 으로, 12대 디지털 핵심기술을 6대 혁신기술(AI, 데이터, 이동통신, 차세대보안, 디지털콘텐츠, 양자정보통신)과 6대 기반기술(지능형네트워크, 전파자원·환경, 사물인터넷, 클라우드컴퓨팅, 블록체인, 방송·미디어)로 나누고, 2026~2028년 3년간의 171개 중점 표준화 항목 을 제시한다.

다년 과제라면 연 1회 갱신 루틴 을 돌린다.

[연간 표준 갱신 점검 — 반나절이면 된다]
1. 최신판 표준화전략맵을 내려받는다
2. 우리 과제가 속한 융합서비스 / 핵심기술 칸을 다시 본다
3. 우리 추적성 매트릭스의 표준 목록과 대조한다
   - 새로 생긴 항목이 있는가        → 검토 후 추가 여부 결정
   - 우리가 쓰는 표준이 개정됐는가   → 버전 갱신, 영향 분석
   - 사라진 항목이 있는가           → 왜 빠졌는지 확인
4. 변경분을 매트릭스에 반영하고 변경 이력을 남긴다
5. 영향받는 테스트 케이스를 재실행 대상으로 표시한다

3번의 "개정됐는가"가 특히 중요하다. 규격 개정은 조용히 일어나고, 알림을 받지 않으면 모른다. 국내 표준은 std.tta.or.kr에서, 국제 규격은 해당 기구 사이트에서 확인한다.

Ver.2026 구조를 계획에 쓰는 법

12대 핵심기술 구분은 팀 편성과 검증 영역 분담에도 쓸 만하다.

우리 서비스: 스마트 헬스케어 플랫폼
 
걸리는 핵심기술을 12개 중에서 고른다:
  ✅ 데이터        → 데이터 모델·상호운용성 검증 (레슨 6)
  ✅ 인공지능      → AI 모델 검증 (모듈 18b)
  ✅ 차세대보안    → 보안 시험 (레슨 3, 5)
  ✅ 사물인터넷    → 디바이스 연동 검증 (레슨 3)
  ✅ 클라우드컴퓨팅 → 배포·가용성 (레슨 3)
  ⬜ 이동통신, 블록체인, 디지털콘텐츠, 양자정보통신,
     지능형네트워크, 전파자원·환경, 방송·미디어
 
→ 체크된 5개 영역이 검증 계획의 대분류가 된다
→ 각 영역마다 담당과 표준 목록을 붙인다

빈칸으로 남은 것도 정보다. "우리는 블록체인을 안 쓴다"를 명시적으로 기록해두면, 나중에 누군가 "왜 블록체인 표준을 안 봤냐"고 물을 때 답이 있다.

사례 — 매트릭스 한 장이 평가 준비를 이틀로 줄였다

같은 조직이 두 과제를 연달아 수행했고, 최종 평가 준비에 4주와 이틀이 걸렸다. 차이는 매트릭스 유무였다.

첫 과제 — 평가 준비 4주

네 번째 줄이 비용의 대부분이었다. 이미 통과한 시험인데 조건을 증명할 수 없어서 다시 돌렸다.

두 번째 과제 — 평가 준비 이틀

바꾼 것은 세 가지였고, 전부 착수 시점에 했다.

① 성과지표를 쪼개 매트릭스에 넣었다
   "응답시간 2초 이내" → 어느 구간·몇 명 동시·어떤 환경·몇 회 측정·판정 기준
 
② 증거 파일 규칙을 정했다
   YYYYMMDD_항목ID_버전_환경_수행자.확장자
   → 파일 이름만으로 "언제 무엇을 어디서 누가" 가 복원된다
 
③ 매달 한 번 매트릭스의 "증거" 칸만 점검했다
   비어 있는 칸이 그 달의 숙제가 된다

결과는 이틀이었고, 그중 대부분이 요약 문서를 쓰는 시간이었다. 더 중요한 효과가 둘 더 있었다.

여기서 남는 교훈이 셋이다.

• 증거는 소급해서 만들 수 없다 — 조건을 증명할 수 없는 시험은 다시 해야 하고, 그것이 평가 준비 비용의 대부분이다
• 파일 이름 규칙 하나가 추적성의 절반이다. 도구를 도입하지 않고도 "언제·무엇을·어디서·누가" 가 복원된다
• 빈 칸을 세는 루틴이 매트릭스를 살려 둔다. 만들어 두고 안 보면 평가 직전에 전부 비어 있다

실무에서 왜 필요한가

과제 최종 평가에서 실제로 요구되는 문서

국책과제 최종 보고에서 "표준화 실적"과 "품질 확보 방안"을 증명하라는 요구는 늘 나온다. 그때 제출하는 것이 결국 추적성 매트릭스와 증거 묶음이다. 이걸 마지막 달에 만들면 증거가 없다 — 증거는 시험할 때만 남길 수 있기 때문이다.

인수인계와 감사에서 살아남는다

담당자가 바뀌어도 이 표 하나면 "어디까지 검증됐고 무엇이 남았는가"가 전달된다. 반대로 이 표가 없으면 새 담당자는 처음부터 다시 시작한다.

경영진·발주처 소통의 언어가 된다

"테스트 잘 하고 있습니다"보다 "적용 표준 6건 중 5건 검증 완료, 1건은 규격 입수 대기"가 훨씬 잘 전달된다. 모듈 26에서 다룬 품질 커뮤니케이션의 구체적 도구가 이 표다.

표준이 없는 영역에서도 근거를 남긴다

신산업 과제의 상당 부분은 표준이 없는 영역이다. 그때 "표준이 없어서 못 했다"와 "표준이 없어 이런 근거로 기준을 만들었다"는 평가가 완전히 다르다. 레슨 4에서 다룬 근거의 5단계 층이 매트릭스의 비고 칸에 들어간다.

채용시장에서의 위치

이 레슨의 산출물은 공고 문구로는 잘 드러나지 않지만 특정 자리에서는 합격 요건이다. 국책과제 수행 기업, 공공·SI, 인증을 받는 제조·의료· 모빌리티 조직에서 성과지표를 시험 계획으로 옮길 수 있는 사람을 찾는다.

세 번째와 네 번째가 가장 변별력이 크다. 둘 다 평가·심사를 겪어 본 사람만 하는 답이다. 특히 네 번째는 준비를 착수 시점으로 옮긴 경험 이고, 그걸 아는 사람과 모르는 사람의 일하는 방식이 완전히 다르다.

다섯 번째도 좋다. 미달을 일찍 아는 것이 사유서보다 싸다는 판단은 모듈 8 레슨 4의 "일찍 알면 선택지가 싸다" 와 같은 감각이다.

공고 표현으로는 "표준 적합성 검증", "시험성적서 취득", "추적성 관리", "국책과제 수행", "인증 대응" 이 이 레슨에 걸린다. 그리고 이 산출물은 투자 실사에도 그대로 쓰이므로(모듈 27 레슨 5) 스타트업에서도 값이 있다.

실습 과제

과제 1 — 추적성 매트릭스 한 장 만들기

지금 다루는 시스템에 적용되는(또는 적용될 법한) 표준 하나를 골라, 본문의 11개 칸을 가진 매트릭스를 최소 10행 채운다.

조건:

• 최소 1행은 Fail 또는 미완료 상태여야 한다 (전부 Pass인 표는 의심스럽다)
• 최소 1행은 표준 없는 사내 기준 항목이어야 한다
• 증거 칸에 실제 파일 경로를 적는다 (없으면 만들어야 할 파일명을 적는다)

과제 2 — 계획서 ★ 여섯 절 쓰기

본문의 표준 기반 테스트 계획서 구조에서 ★ 표시된 여섯 절만 작성한다 (3, 4, 6, 8, 10, 12번). 나머지 절은 기존 계획서를 가정한다.

특히 3번(적용 표준 목록)의 "입수 경로와 입수 여부" 칸을 실제로 확인해서 채운다. 여기서 막히는 것이 이 과제의 학습 포인트다.

과제 3 — 성과지표 문장 쪼개기

실제 과제 협약서나 과업지시서가 있다면 거기서, 없다면 아래 문장으로 본문 1단계의 표를 채운다.

"AI 기반 영상 분석 시스템을 개발하고, 관련 국제표준에 부합하며, 인식 정확도 95% 이상을 달성한다."

세 조각 각각에 대해 "확정해야 할 것"을 적는다. 정확도 95%도 쪼개야 한다 — 어떤 데이터셋에서, 어떤 지표로(정밀도? 재현율? F1?), 어떤 조건에서.

과제 4 — 증거 파일 규칙 정하고 적용하기

팀에서 쓸 증거 파일 이름 규칙을 정하고, 최근 수행한 테스트 결과물 5개를 그 규칙으로 다시 이름 붙인다. 규칙에 반드시 포함할 것: 날짜, 대상 버전, 케이스 식별자.

과제 5 — 연간 갱신 루틴 1회 수행

최신 표준화전략맵(또는 활용·개발 맵)을 실제로 내려받아 본문의 5단계 갱신 점검을 수행한다. 우리 영역의 표준 목록과 대조해 새로 생긴 항목 3개, 개정된 항목 1개 를 찾아 기록한다.

찾지 못하면 그것도 결과다 — "우리 영역은 이번 판에서 변동 없음"을 기록으로 남긴다.

과제 6 — 12대 핵심기술 체크

우리 서비스에 걸리는 핵심기술을 12개 중에서 체크하고, 체크된 것마다 담당과 표준 목록 초안을 붙인다. 체크 안 된 것에는 왜 해당 없는지 한 줄씩 적는다.

자가 체크리스트

• 표준 기반 검증의 6단계 흐름(①~⑥)을 그릴 수 있다
• 추적성 매트릭스의 필수 칸을 나열하고 각 칸의 목적을 설명할 수 있다
• 버전 칸과 증거 칸이 왜 필수인지 설명할 수 있다
• 표준 없는 항목을 같은 매트릭스에 넣어야 하는 이유를 안다
• 표준 기반 테스트 계획서에 추가되는 여섯 절을 말할 수 있다
• 시험 유형별 최소 증거를 구분해 말할 수 있다
• 증거 파일에 시각과 대상 버전을 붙여야 하는 이유를 설명할 수 있다
• 과제 성과지표 문장을 검증 가능한 조각으로 쪼갤 수 있다
• 규격 입수 가능성 확인을 과제 초기에 해야 하는 이유를 설명할 수 있다
• 연간 표준 갱신 루틴 5단계를 수행할 수 있다
• Ver.2026의 12대 핵심기술 구성을 알고, 검증 영역 분담에 쓸 수 있다
• 표준이 없는 영역에서 근거를 남기는 방법을 설명할 수 있다

흔한 실수

마지막 달에 매트릭스를 만든다. 증거는 시험할 때만 남는다. 나중에 표를 채우려 하면 "했는데 증거가 없는" 칸이 줄줄이 생기고, 결국 다시 시험하거나 비워두게 된다. 첫 시험을 실행하기 전에 표의 뼈대를 먼저 만든다.

전부 Pass인 표를 제출한다. 평가자와 감사자는 이런 표를 신뢰하지 않는다. 실패와 미완료가 정직하게 적히고, 그 처리 계획이 함께 있는 표가 오히려 신뢰를 얻는다. 모듈 6에서 배운 결함 보고의 원칙과 같다.

표준 번호만 적고 버전을 안 적는다. 몇 달 뒤 그 표가 어느 판을 기준으로 한 것인지 아무도 모른다.

증거를 스크린샷 한 장으로 대신한다. 자동 시험의 원본 로그가 있는데 캡처만 남기면 정보가 줄어든다. 원본을 남기고 캡처는 보조로 쓴다.

규격 입수 가능성을 확인하지 않고 계획을 확정한다. 이 모듈에서 가장 비싼 실수다. "그 표준 문서를 구할 수 있는가"는 계획을 세우기 전에 답이 나와 있어야 한다.

공인 시험 가능 여부를 확인하지 않고 "공인 성적서"를 약속한다. 시험기관이 그 항목에 대한 서비스를 하지 않으면 애초에 불가능하다. 계약 문구를 쓰기 전에 기관에 문의한다.

최신판 확인을 건너뛴다. 3년짜리 과제에서 1년 차에 만든 표준 목록을 3년 차까지 그대로 쓴다. 그 사이 규격이 개정됐다면 그 결과는 현행 기준으로는 근거가 약해진다. 연 1회 반나절이면 막을 수 있는 문제다.

표준 있는 항목과 없는 항목을 다른 문서로 관리한다. 나뉘는 순간 표준 없는 쪽이 관리에서 밀려나고, 결국 아무 근거 없이 남는다.

참고 자료

• TTA 대표 홈페이지 자료실 — tta.or.kr → 자료 → 정기간행물 → ICT 표준화 전략. 최신판 표준화전략맵과 활용맵 원문
• TTA 표준화 위원회 간행물 목록 — committee.tta.or.kr/data/reportList.jsp?kind_num=5
• TTA 표준화 서비스(std.tta.or.kr) — 국내 표준 원문과 개정 이력 확인. 연간 갱신 루틴에서 쓴다
• TTA 고객서비스포털(cs.tta.or.kr) — 시험인증 서비스 범위 확인. "공인 시험이 가능한 항목인가"를 계약 전에 확인하는 곳
• TTA, 'ICT 표준화전략맵 2026년판' 발간…171개 중점 항목 제시 — 최신판의 규모와 도출 과정
• 디지털·AI 기술표준 주도 이정표, ICT 표준화전략맵 버전 2026 발간 — 12대 핵심기술 구성
• 모듈 8 레슨 6 표준 산출물 문서 따라가기 — 29119 Part 3의 테스트 계획서·완료 보고서 구조. 이 레슨의 계획서는 그 위에 여섯 절을 얹은 것이다
• 모듈 25 레슨 7 시험성적서의 세 얼굴 — 일반성적서·KOLAS 공인성적서·GS인증 중 무엇을 약속할 수 있는지 판단하는 근거
• 모듈 6 결함 관리와 보고 — 실패를 정직하게 기록하는 원칙
• 모듈 26 C레벨 이해와 품질 커뮤니케이션 — 이 매트릭스를 경영진 언어로 요약하는 법

이 커리큘럼 안에서

• 모듈 28 레슨 1 — 맵 읽는 법. 착수 2주 안의 규격 적용 계획 한 장
• 모듈 28 레슨 2 — 적합성·상호운용성. 시험 수준을 계획에 반영하는 근거
• 모듈 28 레슨 3~7 — 분야별 표준 지도. 매트릭스의 "표준" 칸에 들어갈 것
• 모듈 8 레슨 1 — 테일러링과 "해당 없음 + 사유"
• 모듈 8 레슨 4 — "일찍 알면 선택지가 싸다". 미달을 설계로 해결하는 근거
• 모듈 8 레슨 6 — 29119 Part 3 산출물과 문서 간 불일치 네 곳
• 모듈 7 레슨 1 — 추적성과 도구 내보내기
• 모듈 25 레슨 7 — 시험성적서의 세 얼굴
• 모듈 27 레슨 5~6 — 실사와 과제 증빙. 같은 기록이 양쪽에 쓰인다

한 줄 정리 — 이 모듈의 산출물은 표준 조항 → 요구사항 → 케이스 → 증거를 잇는 한 장이다. 성과지표 문장은 쪼개야 측정이 재현되고, 증거는 소급해서 만들 수 없으므로 파일 이름 규칙(날짜·항목·버전·환경· 수행자)으로 조건을 남긴다. 그리고 빈 칸을 세는 루틴이 매트릭스를 살려 둔다 — 만들어 두고 안 보면 평가 직전에 전부 비어 있다.

모듈 28 마무리 — 표준 맵은 "이 영역의 표준이 어느 단계인가" 를 알려 주고(레슨 1), 적합성과 상호운용성은 "지켰다" 와 "통한다" 가 다르다 는 것을 가르며(레슨 2), 분야별 지도는 각 영역이 무엇을 위험으로 보는지 를 보여 준다(레슨 3~7). 그 전부가 한 장의 추적성 매트릭스로 모이고, 그 한 장이 과제 평가·인증 심사·투자 실사에 같은 형태로 쓰인다.