개념
이 문서가 스스로 밝히는 성격
ISO/IEC TS 25058:2024는 서문에서 자기 성격을 분명히 한다. 요지는 세 가지다.
- 목적은 AI 개발자가 자기 AI 시스템의 품질 평가를 수행하도록 안내 하는 것이다
- 정확한 측정량과 임계값은 정하지 않는다. 시스템의 성격마다 달라지기 때문이다
- 시험은 부특성을 검증하는 전략으로서 범위에 들어가지만, 시험 방법과 측정의 세부는 다른 문서 (예: ISO/IEC/IEEE 29119 시리즈)에 맡긴다
모듈 32 레슨 7에서 문서 유형이 판정 가능성을 정한다고 했다. 25058은 TS(기술 시방서) 이고, 내용은 요구사항이 아니라 지침(should)이다. 이 두 사실이 합쳐지면 결론이 하나 나온다. 25058로 시험하는 성적서의 합부 기준은 25058에서 나오지 않는다. 의뢰자와 합의한 기준, 또는 25058이 참조하는 다른 규격의 기준에서 나온다. 이 레슨은 그 합의를 어떻게 구조화하는지를 다룬다.
인용 규격 — 25058은 혼자 쓰이지 않는다
25058의 규범 인용 목록이 이 문서의 위치를 보여준다.
ISO/IEC TS 4213 기계학습 분류 성능 평가 ← 레슨 3
ISO/IEC 22989 AI 개념과 용어
ISO/IEC 23053:2022 기계학습 AI 시스템 프레임워크 (평가 측정 목록 포함)
ISO/IEC 25059:2023 AI 시스템 품질 모델 ← 레슨 1
ISO/IEC/IEEE 29119-1 소프트웨어 테스팅 개념 ← 모듈 8
ISO/IEC/IEEE 29148 요구사항 공학그리고 방법론 절은 이 지침이 ISO/IEC 25040의 SQuaRE 품질 평가 프로세스를 AI 시스템에 대해 보완 한다고 적는다. 즉 25058은 평가 프로세스를 새로 만들지 않는다. 25040의 절차 위에 부특성별로 무엇을 더 봐야 하는지 를 얹는다.
목차 구조 — 모든 부특성에 한 절씩
25058의 목차는 25059 품질 모델을 그대로 따라간다. 제품 품질 여덟 특성(613절)과 사용 품질 다섯 특성(1418절)의
모든 부특성에 절이 하나씩 있다.
6 기능 적합성 6.1 완전성 6.2 정확성 6.3 적절성 6.4 적응성(AI)
7 성능 효율성 7.1 시간 반응 7.2 자원 활용 7.3 용량
8 호환성 8.1 공존 8.2 상호운용
9 사용성 9.1~9.6 (기존) 9.7 사용자 통제성(AI) 9.8 투명성(AI)
10 신뢰성 10.1~10.4 (기존) 10.5 강건성(AI)
11 보안성 11.1~11.5 (기존) 11.6 개입 가능성(AI)
12 유지보수성 12.1~12.5
13 이식성 13.1~13.3
14 효과성 15 효율성
16 만족 … 16.6 투명성(AI)
17 위험으로부터의 자유 17.2 경제 17.3 건강·안전 17.4 환경 17.5 사회·윤리(AI)
18 사용 맥락 포괄성 18.2 맥락 완전성 18.3 유연성절마다 쓰이는 방식은 두 가지 패턴이 섞여 있다.
패턴 A — 25023 측정량 참조. 예를 들어 기능 완전성 절은 그 부특성의 품질을 25023:2016의 해당 측정량 으로 재도록 안내한다. AI라서 달라질 것이 없는 부특성은 기존 측정 체계를 그대로 쓰라는 뜻이다. 모듈 33 레슨 4에서 25023 측정량을 일곱 칸 측정 절차서로 옮긴 작업이 AI 시스템에서도 그대로 재사용된다.
패턴 B — 25023 참조 + AI 특화 지침. 기능 정확성처럼 AI에서 의미가 달라진 부특성은 25023 측정량에 더해 AI 특화 평가 지침 이 길게 붙는다.
평가 계획을 세울 때 이 두 패턴을 먼저 가르면 작업량이 보인다. 패턴 A는 기존 GS 인증·품질 시험 체계로 처리하고, 새로 설계해야 하는 것은 패턴 B의 절 뿐이다.
기능 정확성 절 — 이 문서에서 가장 구체적인 곳
기능 정확성 절은 25058에서 가장 밀도가 높다. 내용을 시험 계획 항목으로 옮기면 이렇게 정리된다.
① 지표 선택. 적절한 핵심 성과 지표(KPI)와 측정으로 평가하되, 문제 유형과 이해관계자 목표에 맞는 측정 을 고른다. 시스템이 특정 과업을 수행하는 능력과 함께 예측 불가능성의 정도 도 평가하도록 한다. 일반적인 평가 측정 목록은 ISO/IEC 23053을 참조한다.
② 기능 시험 기법. 다음과 같은 기법이 예시로 나온다.
| 기법 | 쓰는 상황 | 이 커리큘럼 연결 |
|---|---|---|
| 메타모픽 테스트 | 입력과 출력 사이의 관계를 세워 정답 없이 검증 | 모듈 18b 레슨 11 |
| 전문가 패널 | 전문가의 판단을 대체하는 AI를 시험 결과로 검토 | 모듈 18c 교차검증 |
| 벤치마킹 | 기존 방식이나 유사 AI를 기준으로 비교 | 레슨 3의 기준선 |
| 이해관계자 정의 시나리오 | 이해관계자가 정의한 시나리오·케이스로 행동 시험 | 모듈 2 인수 기준 |
| 시뮬레이션 환경 시험 | 물리적 동작을 하는 AI | 모듈 35 레슨 2 SIL·HIL |
| 현장 시험(field trial) | 시험 환경과 실제 운영 조건이 다를 수 있을 때 | — |
| 위험 기반 시험 | 식별된 위험 시나리오에 대한 행동 | 모듈 4 리스크 기반 테스트 |
③ 데이터 분리와 검증 절차.
학습 · 검증 · 시험 데이터셋은 서로 다른 데이터로 구성한다
검증 · 시험 데이터셋은 실제 운영 조건을 대표하는 부분집합이어야 한다
단일 검증셋보다 교차 검증을 가능하면 사용한다
선택된 모델은 별도의 백테스트 단계에서 새 데이터(시험셋)로 다시 시험한다
배포는 백테스트 이후에 한다④ 편향 추적. 알려진 코호트(집단)로 구성된 데이터셋으로 시험해 긍정적·부정적 편향이 스며드는지(bias creep) 를 확인한다. 레슨 4로 이어진다.
⑤ 운영 설정의 합의. 분류의 컷오프 임계값 같은 최종 튜닝 설정은 비즈니스 사용자와 함께 정한다.
⑥ 운영 중 모니터링. 기능 정확성은 모니터링 목적으로 운영 데이터에서도 평가 한다.
⑤번이 시험 담당자에게 특히 중요하다. 컷오프 임계값은 정밀도와 재현율의 교환(모듈 18b 레슨 11)을 결정하는 비즈니스 판단 이다. 개발자가 혼자 정한 임계값으로 시험하면, 시험 결과는 "개발자가 고른 교환점에서의 성능"을 보여줄 뿐이다. 평가 계획에 임계값을 누가 언제 합의했는지 가 기록되어야 한다.
⑥번은 평가가 출시로 끝나지 않는다는 뜻이다. 모듈 14 레슨 7의 SLO·SLI가 AI 시스템에서는 모델 성능 지표 로 확장된다.
25040 위에 얹기 — 평가 프로세스 다섯 단계
25040의 품질 평가 프로세스는 대략 다섯 활동으로 진행된다. 각 활동에 25058이 무엇을 더하는지 겹치면 AI 평가 계획서의 뼈대가 된다.
| 25040 활동 | 일반 소프트웨어 | 25058이 더하는 것 |
|---|---|---|
| 평가 요구사항 수립 | 평가 목적, 품질 요구, 대상 부특성 선정 | AI 부특성(적응성·통제성·투명성·강건성·개입 가능성·사회적 위험) 포함 여부와 비포함 근거 |
| 평가 명세 | 측정량 선정, 판정 기준 | 문제 유형별 지표, 임계값과 컷오프 합의 기록, 데이터셋 대표성 기준 |
| 평가 설계 | 활동 계획, 자원 | 학습/검증/시험 분리, 교차 검증, 백테스트, 코호트 시험, 섭동 설계(레슨 1) |
| 평가 실행 | 측정, 판정 | 모델·데이터셋 버전 고정, 통계적 유의성(레슨 3), 재현성 기록 |
| 평가 종료 | 보고, 자료 처리 | 운영 모니터링 권고, 재평가 조건(재학습·분포 변화) |
마지막 줄의 재평가 조건 이 AI 평가의 특징이다. 전통 소프트웨어는 코드가 바뀌지 않으면 평가 결과가 유지된다. AI 시스템은 코드가 그대로여도 데이터 분포가 바뀌면 결과가 무효가 될 수 있다. 평가 보고서에 "어떤 조건에서 이 평가를 다시 해야 하는가"가 없으면 결과의 유효기간을 알 수 없다. 모듈 33 레슨 6의 변경인증 분류, 모듈 34 레슨 6의 재시험 기준과 같은 설계를 데이터 변화 에 대해서도 해야 한다.
판정 기준 합의서 — 25058 시험의 실질적인 핵심 문서
임계값이 규격에 없으므로, 시험소가 25058·25059 기반 성적서를 발행하려면 의뢰자와 판정 기준 합의서 가 먼저 있어야 한다. 부특성마다 한 줄이다.
| 부특성 | 포함 | 측정·기법 | 데이터셋(버전·대표성 근거) | 임계값·결정 규칙 | 임계값 출처 | 합의자·일자 |
|---|---|---|---|---|---|---|
| 기능 정확성 | O | 매크로 F1, 부트스트랩 95% CI | TEST-v3 (운영 3개월 층화 표본) | CI 하한 ≥ 0.90 | 기존 규칙 기반 시스템 대비 + 운영 요구 | 의뢰자 품질팀 / 2026-08-20 |
| 강건성 | O | 섭동 4종 × 3단계 곡선 | TEST-v3 섭동 파생 | 레슨 1 표 기준 | 위험 분석 RA-12 | 〃 |
| 사용자 통제성 | O | 조작 경로 전수 + 사용자 5인 세션 | — | 과업 성공 5/5, 반영 지연 1초 이내 | UX 요구서 | 〃 |
| 기능 적응성 | X | — | — | — | 온라인 학습 없음(정적 모델) — 비포함 근거 | 〃 |"임계값·결정 규칙" 칸에 결정 규칙 까지 들어간다는 점을 보자. "F1 0.90 이상"이 아니라 "신뢰구간 하한 이 0.90 이상"처럼 적는다. 모듈 31 레슨 3에서 측정 불확도를 판정에 반영하는 결정 규칙을 배웠는데, AI 성능 지표에서는 표본 변동이 그 불확도 역할을 한다. 점추정치 0.905로 "적합"을 선언했다가 다른 표본에서 0.89가 나오는 사고를 이 칸이 막는다.
"기능 적응성 — 비포함" 줄처럼, 포함하지 않는 부특성도 근거와 함께 표에 남긴다. 레슨 1에서 비워 둔 칸마다 이유가 있어야 한다고 한 원칙이 여기서 문서가 된다.
실무에서 왜 필요한가
AI 시스템 품질 평가를 처음 맡은 조직은 대개 두 극단 중 하나로 간다. 벤치마크 점수 하나로 끝내거나, 모든 부특성에 대해 무엇을 할지 몰라 평가가 표류한다. 25058은 그 사이의 지도를 준다. 모든 부특성에 절이 있으므로 빠뜨리는 칸이 없고, 패턴 A·B를 가르면 새로 설계할 곳이 좁혀진다.
판정 기준 합의서는 분쟁을 막는다. AI 성능은 데이터셋에 따라 크게 달라진다. 의뢰자가 내부 데이터로 0.95를 봤는데 시험소 시험셋에서 0.88이 나오면, 합의서가 없는 경우 논쟁은 "누구 데이터가 맞는가"로 흘러간다. 합의서에 데이터셋 버전과 대표성 근거 가 먼저 적혀 있으면 논쟁 자체가 생기지 않는다.
컷오프 합의와 재평가 조건은 운영 사고를 줄인다. 모델팀이 재현율을 올리려고 임계값을 바꾸면 오탐이 늘어 현업이 경보를 무시하게 되고, 데이터 분포가 바뀐 뒤에도 출시 시점 평가 결과를 근거로 운영이 계속된다. 둘 다 평가 문서에 누가 합의했고 언제 다시 봐야 하는가 가 없어서 생기는 일이다.